运 维 工程 师 工作 的 演变 











随 着 云 计算 的 流行 ， 运 维 工 程 师 的 工作 性 质 在 不 断 地 发 生变 化 ， 很 多 新 的 技能 点 和 知识 点 需要 掌握 和 学 习 。 工 作 中 ， 大 家 经 常 可 以 看 到 DevOps 这 个 词汇 。 最 近 DevOps 为 什么 这 么 火 ? 跟 最 近 两 年 云 计 


算 的 快速 普及 有 很 大 的 关系 : 云 计 算 平台 上 的 各 种 资源 ， 从 服务 器 到 网 络 ， 再 到 负载 均衡 都 是 由 API 创 建 和 操作 的 ， 这 就 意味 着 所 有 | 
F 机 器 数量 众多 、 网 络 环境 错综复杂 ， 故 也 需要 由 DevOps 人 员 来 设计 工 





的 基础 环境 。 而 在 传统 的 互联 网 行业 ， 比 如 CDN 行 业 ， 由 了 


运 维 功 能 。 


我 在 公司 的 职务 是 高 级 运 维 开发 工程 师 (DevOps) 、 系 统 架 构 师 ， 























务 网 站 没有 节点 匈 余 ， 对 集群 技术 的 要 求 更 高 。 所 以 我 前 期 将 所 有 的 
的 是 DRBD 双 主 多 从 架构 ， 甚 至 Redis 也 使 








数据 库 











站 应 



































随 着 商业 推广 量 的 加 大 ， 网 站 流量 、UV 及 并 发 日 益 


站 牵涉 支付 问题 ， 所 以 对 安全 性 的 要 求 




















响 网 站 安全 的 行为 。 此 外 ， 我 的 工作 职责 还 包括 使 





成 熟 的 


要 工作 是 设计 、 实 施 及 维护 本 公司 
都 做 了 双 机 高 HA， 包 括 LVS/HAProxy+Keepalived 和 
了 主 从 复制 的 架构 设计 。 随 着 特殊 业务 的 需求 量 越 来 越 
增 大 ， 新 机 器 上 线 也 日 益 频 繁 ， 所 以 我 采用 了 Fabric、Ansbile 等 自动 化 运 维 工 . 
也 非常 高 ， 我 们 平时 都 会 从 网 络 安全 (包括 硬件 防火 墙 、Linux 系 统 防火 墙 和 WAF 应 用 防火 
自动 化 工具 (比如 Ansible、Saltstack 等 ) ， 利 

















提供 了 一 个 非常 好 
时 系统 ， 提 供 自动 化 














的 资源 都 可 以 “软件 定义 ”， 这 给 各 种 自动 化 运 维 工 . 
， 提 供 后 端的 自动 化 AP1， 结 合 公司 的 CMDB 资 产 管 






























































的 电子 商务 网 站 ， 以 及 核心 业务 的 代码 开发 工作 。 相 对 于 CDN 分 布 式 系统 而 言 ， 公 司 的 电子 商 
Nginx+Keepalived， 以 及 DRBD+Heartbeat+NFS 文 件 高 可 用 ，MySQL 
于 盛 〈 比 如 定点 抢 红包 活动 ) ， 我 也 在 网 站 的 架构 设计 中 引入 了 RabbitMQ 消 息 队列 集群 。 后 期 
来 管理 线 上 机 器 ， 避 免 运 维 同事 们 的 重复 劳动 。 另 外 ， 由 于 电子 商务 网 
栈 ) 、 系 统 安 全 、 代 码 安 全 和 数据 库 安 全 这 些 方面 着 手 ， 尽 力 避 免 一 切 影 
Python 或 Golang 进 行 二 次 开发 ， 根 据 实际 工作 需求 ， 结 合 公司 的 CM DB 系统 ， 提 供 稳 定 的 后 端 















































由 

















































































































AP1， 方 便 前 端 人 员 或 资产 人 员 进 行 调 有 
要 动力 。 


撰写 本 书 的 目的 


， 这 样 大 家 可 以 利 











己 设计 的 后 端 API 和 网 站 能 够 稳定 运行 ， 心 里 还 是 很 有 成 就 感 的 ， 这 也 是 我 目前 工作 的 主 






































界面 来 完成 

















从 事 系统 集成 、 运 维 开发 、 架 构 设计 方 
入 企业 后 都 无 法 胜任 











任务 队列 如 何 设计 等 相关 话题 。 


之 所 以 写 这 本 书 ， 一 方面 是 想 对 





面 的 工作 已 经 有 十 余年 了 ， 在 工作 期 
自己 的 工作 ， 更 谈 不 上 正确 规划 
解决 实际 问题 的 书籍 。 例 如 ， 很 多 书籍 都 只 给 出 了 比较 基础 的 操作 及 理论 ， 而 相对 于 线 上 环 


自己 这 些 年 的 工作 进行 一 次 系统 的 梳理 和 总 结 ; 








一 方面 是 














自己 的 职业 道路 了 。 究 其 原因 ， 























MySQL 的 高 可 用 方案 及 Pyt 








hon 自 动 化 运 维 工 





的 使 用 ) 和 线 上 环境 的 Shell 








动 化 运 维 工作 。 工 作 虽 然 辛苦 ， 但 看 到 


另 一 方面 是 想 将 
却 本 ， 帮 大 家 迅速 进入 工作 状态 。 书 中 所 提供 的 Shell 脚 本 和 iptables 脚 本 均 来 


间 ， 我 曾 有 幸 担 任 了 一 段 时 间 的 红 幅 RHCE 讲 师 ， 在 东北 大 学 等 高 校 推广 红 帽 Linux 系 统 。 在 教学 过 程 中 我 发 现 ， 很 多 学 生 进 
为 企业 的 生产 环境 具有 一 定 的 复杂 性 和 危险 性 ; 
境 ， 根 本 没有 涉及 如 何 安全 操作 才能 避免 误 操 ， 以 及 在 PV、UV、 并 发 、 数 据 库 压力 和 高 并 发 环境 下 消息 队列 或 











面 则 是 由 于 市 场 上 入 门 书 居多 ， 缺 乏 能 真正 指导 读者 








= 一方 








自己 的 经 验 和 心得 分 享 给 大 家 ， 希 望 能 帮助 大 家 少 走 弯路 。 通 过 本 书 中 介绍 项 目 实践 (包括 Linux 集 群 、 
于 线 上 的 生产 服务 器 ， 大 家 均 可 以 直接 拿 来 用 。 
















































































关于 Linux 集 群 的 项 目 实践 和 MySQL 


希望 大 家 能 通过 本 书 掌握 Linux 的 精 凡 ， 轻 松 而 愉快 地 工作 ， 从 而 提高 


我 写本 书 的 初衷 。 


第 4 版 与 第 3 版 的 





区 另 


1 


本 书 是 第 4 版 ， 相 对 于 前 3 版 而 言 改动 比较 大 ， 删 除了 不 少 过 时 的 内 容 ， 
比 外 ， 在 写作 过 程 中 采纳 了 读者 针对 上 一 版 本 提出 的 许多 意见 和 建议 ， 同 时 修正 了 第 3 版 
了 生产 环境 下 的 Shell 脚 本 ; 删除 了 对 分 布 式 
Sulbime Text3 的 快捷 键 方式 操作 的 介绍 。 


6.8 x86 64。 





























， 并且 
GitLab 应 上 


本 









































的 及 强大 的 编辑 工 





读者 对 象 
“ 本 书 的 读者 对 象 如 下 : 
' 项 目 实施 工程 师 ; 
“ 系统 管理 员 或 系统 工程 师 ; 
“ 网 络 管理 员 或 企业 网 管 ; 
“ 系统 开发 工程 ; 
“ 高 级 开发 人 员 。 
如 何 阅读 本 书 


本 书 的 内 容 是 对 实际 工作 经 验 的 总 结 ， 
半 功 倍 的 效果 。 





的 高 可 用 方案 ， 大 家 也 可 以 根 


涉及 大 量 的 知识 点 和 专业 术语 

















居 实 际 项 




















增补 了 当前 热 























动 化 部 署 管理 工 
出 第 4 版 的 原因 


Puppet 的 相关 介绍 ， 























己 的 技术 水 平 ， 也 希望 大 家 通过 我 分 享 的 内 容 ， 了 解 运 维 工 作 的 发 


是 希望 能 将 现在 最 流行 


目的 需求 直接 采用 ， 以 此 来 设计 公司 的 网 站 架构 。 


展 趋势 ， 确 定 以 后 的 学 习 上 有 目标。 这 是 我 非常 希望 看 到 的 ， 也 是 




















外， 本 书 除了 项 目 部 署 时 采用 的 系统 没有 升级 到 CentOS 6.8 x86_64 外 ， 其 他 环境 均 为 CentOS 
的 各 种 错误 及 其 他 问题 。 具 体 改动 如 下 : 删除 了 第 3 版 中 前 3 章 的 内 容 ， 增 补 了 Vagrant 虚 拟 化 软件 的 应 
了 Fabric 自 动 化 运 维 工具 ; 删除 了 关于 开源 VPN 在 企业 中 部 署 的 章节 。 附 录 部 分 增加 了 对 现在 流行 
的 开源 技术 展现 并 分 享 给 大 家 ， 增 加 大 家 的 职业 技能 知识 。 



































改 









































Wu 


的 讲解 进行 操作 ， 定 会 达到 | 导 

















， 建 议 经 验 不 足 的 读者 一 定 从 第 1 章 读 起 ， 本 章 内 容 相对 来 说 比较 基础 。 大 家 在 学 习 过 程 中 根据 第 1 











、 第 7 章 和 第 8 章 的 内 容 ， 这 些 都 与 运 维 工作 息息相关 的 ， 建 议 大 家 多 花 些 精力 和 时 间 ， 抱 着 一 切 从 线 上 环境 去 考虑 的 

















推荐 系统 管理 员 和 运 维 工程 师 们 通 篇 阅读 本 书 ， 并 重点 关注 第 2 


态度 去 学 习 。 


、 第 4 


、 第 5 














对 于 网 络 管理 员 和 企业 网 管 来 说 ， 如 果 基 础 不 是 太志 








L 实 ， 建 议 先 学 习 第 1 章 和 第 2 章 的 内 容 ， 然 




















后 将 重点 放 在 第 7 章 和 第 8 章 。 
































。 如果 希望 了 解 集群 相关 的 知识 体系 ， 可 学 习 第 5 章 和 第 6 章 的 内 容 。 





























对 于 项 目 实施 工程 师 而 言 ， 由 于 大 多 数 都 是 从 事 系 统 集成 相关 工作 的 ， 因 此 建议 顺序 学 习 全 书 的 内 容 ， 重 心 可 以 放 在 第 5 章 和 第 6 章 。 
对 于 高 级 开发 人 员 来 说 ， 由 于 只 需 对 系统 有 一 个 大 概 的 了 解 ， 重 点 可 以 放 在 第 1 章 、 第 3 章 和 第 4 
大 家 可 以 根据 自己 的 职业 发 展 和 工作 需要 选择 不 同 的 阅读 顺序 和 侧重 点 ， 同 时 也 可 以 对 其 他 相关 的 知识 点 有 一 定 的 了 解 。 
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关于 勘误 


名 均 为 “抚琴 者 酒 ”， 


以 稳定 为 


1.1 


1.1.1 评估 网 站 性 能 涉 





# 








海 亮 ， 正 是 由 于 你 们 的 信任 、 支 持 和 帮助 ， 我 才能 够 如 此 顺利 地 完成 全 部 书稿 。 


尽管 我 伦 了 大 量 时 间 和 精力 去 核对 文件 和 语法 ， 但 书 中 难免 还 会 存在 一 些 错误 和 丝 漏 ， 如 果 大 家 发 现 问题 ， 希 望 可 以 反馈 给 我 ， 相 关 信 息 可 发 到 我 的 邮箱 yuhongchun027@gmailcom。 尽 管 我 无 法 
保证 每 一 个 问题 都 会 有 正确 的 答案 ， 但 我 肯定 会 努力 回答 和 并 且 指出 一 个 正确 的 方向 。 


如 果 大 家 对 本 书 有 任何 疑问 或 想 进行 Linux 的 技术 交流 ， 可 以 访问 我 的 个 人 博客 ， 我 会 在 此 恭候 大 家 。 我 的 个 人 博客 地 址 为 http://yunongchun.blog.51cto.com。 另 外 ， 我 在 51CTO 和 CU 社区 的 用 户 














大 家 也 可 以 直接 通过 此 用 户 名 在 社区 内 与 我 进行 交流 。 



































余 洪 春 (抚琴 者 酒 ) 


第 1 章 ”Linux 服 务 器 的 性 能 调 优 


作为 一 名 高 级 系统 架构 设计 师 ， 每 天 都 要 处 理 系统 方面 的 架构 优化 设计 工作 ， 比 如 电子 商务 系统 、CDN 大 型 广告 平台 和 DSP 电 子 广告 系统 运 维 方案 的 确定 及 平台 架构 的 设计 等 ， 此 外 ， 还 会 涉及 核心 业 
务 的 系统 优化 升级 工作 。 在 其 中 ， 系 统 的 性 能 优化 是 一 个 非常 有 意义 的 工作 ， 也 是 一 个 不 太 容易 的 工作 。 性 能 优化 要 以 系统 的 稳定 性 为 第 一 原则 ， 也 要 本 着 挖 握 系 统 潜能 的 宗旨 ， 在 两 者 相互 矛盾 的 时 候 ， 























网 站 架构 设计 相关 





在 学 习 系统 优化 之 前 ， 我 们 应 该 了 解 一 下 网 站 架构 设计 的 相关 专业 知识 ， 这 样 才能 更 好 地 优化 系统 性 能 ， 





在 开始 其 他 内 容 之 前 ， 我 们 先 学 习 几 个 相关 的 专业 名 词 术语 ， 这 样 便于 后 面 内 容 的 展开 ， 也 便于 大 家 在 工作 中 与 其 


1.PV (Page View) 


及 的 专业 名 词 术语 





提升 网 站 的 架构 设计 能 力 。 





他 同事 交流 。 



































PV 即 访问 量 ， 中 文 翻译 为 页 面 浏览 ， 代 表 页 面 浏览 量 或 点 击 量 ， 用 户 每 刷新 一 次 就 会 计算 一 次 。PV 的 具体 度量 方法 就 是 从 浏览 器 发 出 一 个 对 网 络 服务 器 的 请 求 (Request) ， 网 络 服务 器 接 到 这 个 请 求 


， 会 将 该 请 求 对 应 的 一 个 网 页 (Page) 发 送 给 济 


2.UV (Unique Vistor) 


UV 即 独立 访问 ， 访 问 网 站 的 一 台电 脑 客户 端 为 一 个 访客 ， 如 果 以 天 为 计量 和 
记 为 一 个 UV， 通 过 不 同 技术 方法 来 记录 ， 实 际会 有 误差 。 如 果 企业 内 部 通过 NAT 技 术 共享 上 网 ， 习 


3. 并 发 连接 数 (Concurrent TCP Connections) 




































































览 器 ， 从 而 产生 一 个 PV。 只 要 将 请 求 发 送 给 了 浏览 器 ， 无 论 这 个 页 面 是 否 完全 打开 ， 下 载 是 否 完成 ， 都 会 被 计 为 1 个 PV。PV 反 映 的 是 某 网 站 页 面 的 浏览 
数 ， 所 以 每 刷新 一 次 也 算 一 个 PV， 就 是 说 PV 与 UV (独立 访客 ) 的 数量 成 正比 ， 但 PV 并 不 是 页 面 的 来 访 者 数量 ， 而 是 网 站 被 访问 的 页 面 数 量 。 
































有 位 ， 程 序 会 统计 00: 00 至 24: 00 这 段 时 间 内 的 电脑 客户 端 ， 且 相同 的 客户 端 只 被 计算 一 次 。 独 立 自然 人 访问 ， 一 个 人 访问 
b 么 出 去 的 公 网 IP 有 且 只 有 一 个 ， 这 个 时 候 在 程序 里 面 进行 统计 ， 也 只 能 算是 一 个 UV。 






































当 一 个 网 页 被 浏览 ， 服 务 器 就 会 和 浏览 器 建立 连接 ， 每 个 连接 表示 一 个 并 发 。 如 果 当 前 网 站 页 面包 含 很 多 图 片 ， 图 片 并 不 是 一 个 一 个 显示 的 ， 服 务 器 会 产生 多 个 连接 同时 发 送 文字 和 图 片 以 提高 浏览 速 








。 也 就 是 说 ， 网 页 中 的 图 片 越 多 ， 服 务 器 的 并 发 连接 数 越 多 ， 我 们 一 般 以 此 作为 衡量 和 


























4.QPS (Query Per Second) 


QPS 即 每 秒 查询 率 ， 是 衡量 一 个 特定 查询 服务 器 在 规定 时 间 内 所 处 理 流量 多 少 的 标准 ,在 











5. 机 房 的 网 络 质量 评估 





， 也 是 最 大 吞吐 能 力 。 对 于 系统 而 言 ，QPS 数 值 是 一 个 非常 重要 的 参数 ， 它 是 综合 反映 系统 最 大 吞吐 能 力 的 衡量 标准 。 它 














机 房 的 网 络 质量 可 以 参考 下 





面 3 个 标准 : 








1) 稳定 性 。 响 应 延迟 ， 丢 包 率 。 测 试 方法 : 长 时 间 的 ping 测 试 。 测 试 工具 有 smoke-ping、mtr、ping2。 


























和 a 台 Web 机 器 的 性 能 参数 。 现 在 Nginx 在 网 站 中 的 应 用 比例 非常 大 ， 可 以 参考 Nginx 的 活动 并 发 连接 数 。 


























因特网 上 ， 作 为 域名 系统 服务 器 的 机 器 性 能 通常 用 每 秒 查询 率 来 衡量 。 对 应 Fetches/Sec， 即 每 秒 的 响应 请 求 




















反映 的 不 仅 是 Web 层 面 的 性 能 ， 还 有 缓存 、 数 据 库 等 方面 的 系统 综合 处 理 能 力 。 























2) 带宽 质量 。 测 试 TCP 的 下 载 速度 以 及 最 大 TCP 的 下 载 速率 。 测 试 方法 : get/ 其 他 下 载 测试 。 测 试 工具 有 webbench/iperf， 也 可 使 用 云 测试 平台 。 














3) 接 入 位 置 。 接 入 路 由 设备 离 骨干 网 的 位 置 ， 接 入 条 数 越 少 越 好 。 测 试 方法 : 路 由 跟踪 。 测 试 工具 有 mtr/tracert 等 。 





参考 文档 : https://www.zhihu.com/question/23516866。 


1.1.2 ”CDN 业 务 的 选项 























如 果 自 己 的 业务 网 站 中 含有 大 量 的 图 片 和 视频 类 文件 ， 为 了 加 快 客户 端的 访问 速度 ， 同 时 减缓 核心 机 房 的 服务 压力 并 提升 用 户 体验 ， 建 议 大 家 在 网 站 或 系统 的 前 端 采用 CDN 缓 存 加 速 方案 。 









































CDN 的 全 称 是 Content Delivery Network， 即 内 容 分 发 网 络 。 其 目的 是 通过 在 现 有 的 Internet 中 增加 一 层 新 的 网 络 架构 ， 将 网 站 的 内 容 发 布 到 最 接近 用 户 的 网 络 “ 边 缘 ” ， 使 用 户 可 就 近 取 得 需要 的 内 
容 ， 提 高 用 户 访问 网 站 的 响应 速度 ， 从 而 提升 用 户 体验 。CDN 缓 存 加 速 方案 一 般 有 几 种 方式 : 
































: 租赁 CDN: 中 小 型 网 站 直接 买 服务 即 可 ， 现 在 CDN 已 经 进入 按 需 付费 的 云 计算 模式 ， 可 以 准确 计算 性 价 比 。 











“ 自 建 CDN: 这 种 方案 的 成 本 较 高 ， 为 了 保证 好 的 缓存 效果 ， 必 须 在 全 国 机 房 布 点 ， 并 且 需 要 自 建 智能 Bind 系 统 。 搭 建 大 型 网 站 时 推荐 采用 此 方案 ， 一 般 专 业 的 视频 网 站 或 图 片 网 站 会 考虑 采用 此 方 





1.1.3 “IDC 机 房 的 选择 


1DC 机 房 的 选择 一 般 也 有 几 种 类 型 : 


: 单 电信 IDC 机 房 : 这 种 业务 模式 比较 固定 ， 访 问 量 也 不 是 很 大 ， 适 合 新 闻 类 网 站 或 政务 类 网 站 。 如 果 网 站 的 PV 流 量 持续 增加 ， 建 议 后 期 采用 租赁 CDN 的 方式 解决 非 电 信用 户 访问 网 站 速度 过 慢 的 问 


“ 双 线 IDC 机 房 : 因为 国内 两 大 网 络 (电信 和 网 通 ) 之 间 存 在 互联 互通 的 问题 ， 所 以 电信 用 户 访问 网 通 网 站 或 网 通用 户 访问 电信 网 站 很 慢 ， 也 因此 产生 了 双 线 机 房 、 双 线 服务 器 、 双 线 服务 器 托管 和 双 
线 服 务 器 租用 服务 。 双 线 机 房 实际 是 一 个 有 电信 、 网 通 、 联 通 等 任意 两 条 线路 接 入 的 机 房 。 通 过 双 线 机 房 内 部 路 由 器 的 设置 以 及 BGP 自 动 路 由 的 分 析 ， 实 现 电 信用 户 访问 电信 线路 ， 网 通用 户 访问 网 通 线 
路 ， 即 实现 了 电信 网 通 的 快速 访问 。 


: BGP 机 房 : BGP (边界 网 关 协 议 ) 是 用 来 连接 Intetnet 的 独立 系统 的 路 由 选择 协议 。 它 是 Internet 工 程 任务 组 制定 的 一 个 加 强 、 完 善 、 可 伸缩 的 协议 。BGP4 支 持 CIDR 寻 址 方案 ， 该 方案 增加 了 Internet 上 
可 用 IP 地 址 的 数量 。BGP 是 为 取代 最 初 的 外 部 网 关 协 议 EGP 设 计 的 ， 它 也 被 认为 是 一 个 路 径 失 量 协议 。 采 用 BGP 方 案 实现 双 线 路 互联 或 多 线路 互联 的 机 房 称 为 BGP 机 房 。 对 于 用 户 来 说 ， 选 择 BGP 机 房 可 以 
实现 网 站 在 各 运营 商 线路 之 间 互 联 互通 ， 使 得 所 有 互联 运营 商 的 用 户 访问 网 站 都 很 快 ， 也 更 加 稳定 ， 不 用 担心 全 国 各 地 因 线 路 带 来 访问 速度 快慢 不 一 的 问题 ， 这 也 是 传统 双 IP 双 线 机 房 无 法 相 比 的 优势 。 在 
条 件 允 许 的 情况 下 ， 选 择 服务 器 租用 和 服务 器 托管 时 尽量 选择 BGP 机 房 ， 可 以 带 给 用 户 最 优 的 访问 体验 。 





现在 云 计算 服务 也 非常 流行 ， 目 前 首 推 的 就 是 亚马逊 云 (AWS) 和 阿里 云 这 两 种 云 计算 平台 。 








经 过 对 业务 需求 的 深入 了 解 ， 我 们 在 亚马逊 云 和 阿里 云 之 间 选 择 了 亚马逊 云 。 














云 计 算 服务 提供 的 产品 能 让 我 们 的 研发 团队 专注 于 产品 开发 本 身 ， 而 不 是 购买 硬件 、 配 置 和 维护 硬件 等 繁杂 的 工作 ， 还 可 以 减少 初始 资金 投入 。 我 们 主要 使 用 亚马逊 云 的 EC2/EBS/S3/Redshift 服 务 产 
其 次 ，Amazon EC2 主 机 提供 了 多 种 适用 于 不 同 案例 的 实例 类 型 以 供 选择 。 实 例 类 型 由 CPU、 内 存 、 存 储 和 网 络 容量 形成 不 同 的 组 合 ， 可 让 我 们 灵活 地 为 其 选择 合适 的 资源 组 合 。 
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云 计 算 特别 适合 在 某 些 日 期 或 某 些 时 段 流 量 会 激增 的 网 站 ， 如 我 们 从 事 的 DSP 业 务 的 bidder 集 群 机 器 ， 用 户 会 集中 在 某 时 段 进行 竞价 ， 因 此 在 这 段 时 间 内 使 用 的 instance 数 量 可 能 是 白天 的 几 倍 甚至 几 
十 倍 。 也 就 是 说， 这 个 瞬间 可 能 要 开启 很 多 实例 处 理 ， 且 处 理 完 毕 后 立刻 终止 (EC2 Instance 可 以 按照 运行 小 时 数 进行 收费 ) 。 
























































像 笔 者 公司 的 线 上 系统 ， 经 常 跑 着 很 多 特殊 业务 的 Spot Instance (例如 我 们 自行 开发 的 他 虫 系统 ) ， 以 小 时 计 费 ， 完 成 任务 后 立即 终止 Spot Instance， 以 此 达到 节约 费用 的 目的 。 








六 4 用 竞标 方式 获取 便宜 的 Instance， 一 般 在 有 大 量 、 便 宜 、 短 时 间 使 用 的 需求 时 使 用 。 


1.2 ”如 何 根据 服务 器 应 用 来 选 购 服务 器 

















无 论 物 理 服务 器 是 选用 IDC 托 管 还 是 AWS EC2 云 主机 (以 下 为 了 说 明 简 单 ， 统 称 为 服务 器 ) ， 我 们 都 要 面临 一 个 问题 ， 那 就 是 如 何 选择 服务 器 的 硬件 配置 。 选 购 硬件 配置 时 要 根据 我 们 的 服务 器 应 用 
求 而 定 ， 因 为 我 们 无 法 通过 一 台 服务 器 来 满足 所 有 的 需求 ， 并 解决 所 有 的 问题 。 在 设计 网 站 的 系统 架构 之 前 ， 我 们 应 该 从 以 下 方面 考虑 如 何 选 购 服务 器 : 














“ 服务 器 运行 什么 应 用 。 


“ 需要 支持 多 少 用 户 访问 。 


“ 需要 多 大 空间 来 存储 数据 。 


“ 业务 的 重要 性 。 


“ 服务 器 网 卡 。 


“ 是 否 安排 机 架 合理 化 。 


: 服务 器 的 价格 是 否 超出 预算 。 














1. 服 务 器 运行 什么 应 





















































这 是 首先 需要 考虑 的 问题 ， 通 常 根据 服务 器 的 应 用 类 型 (也 就 是 用 途 ) 决定 服务 器 的 性 能 、 容 量 和 可 靠 性 需求 。 下 面 将 按照 负载 均衡 、 缓 存 服务 器 、 前 端 服务 器 、 应 用 程序 服务 器 、 数 据 服务 器 和 
Hadoop 分 布 式 计算 的 常见 基础 架构 进行 讨论 。 


: 负载 均衡 端 : 除了 网 卡 性 能 以 外 ， 它 在 其 他 方面 对 服务 器 的 要 求 都 比较 低 。 如 果 选 用 LVS 负 载 均衡 方案 ， 它 会 直接 将 所 有 的 连接 要 求 转 给 后 端的 Web 应 用 服务 器 ， 建 议 选用 万 兆 网 卡 ; 如 果 选 用 
HAproxy 负 载 均衡 器 ， 由 于 它 的 运行 机 制 跟 LVS 不 一 样 ， 流 量 必须 双向 经 过 HAproxy 机 器 本 身 ， 因 此 会 对 CPU 的 运行 能 力 有 所 要 求 ， 建 议 选用 万 兆 网 卡 ; 如 果 选 用 AWS EC2 机 器 ， 推 荐 使 用 m3.xlarge 实 例 类 型 
(m3 类 型 提供 计算 、 内 存 和 网 络 资源 的 平衡 ， 它 是 很 多 应 用 程序 的 良好 选择 ) 。 另 外 ，AWS 官 方 也 推出 了 负载 均衡 服务 产品 ， 即 Elastic Load Balancing， 它 具有 DNS 故障 转移 和 Auto Scalling 的 功能 。 


“ 缓存 服务 器 : 主要 是 Varnish 和 tredis， 对 CPU 及 其 他 方面 的 性 能 要 求 一 般 ， 但 在 内 存 方面 的 要 求 较 多 。 笔 者 曾 为 了 保证 预算 ， 在 双核 (13.large) 机 器 上 运行 了 4 个 redis 实 例 ，AWS 官 方 也 建议 将 此 内 存 优 


化 型 实例 用 于 高 性 能 数据 库 、 分 布 式 内 存 缓存 、 内 存 中 分 析 、 基 因 组 装配 和 分 析 ， 以 及 SAP、Microsoft SharePoint 和 其 他 企业 应 用 程序 的 较 大 部 署 。 














: 应 用 服务 器 : 因为 它 承 担 了 计算 和 功能 实现 的 重任 ， 所 以 需要 为 基于 Web 架 构 的 应 用 程序 服务 器 (Application Server) 选择 足够 快 的 服务 器 ， 另 外 ， 应 用 程序 服务 器 可 能 需要 用 到 大 量 的 内 存 ， 尤 其 是 
基于 Windows 基 础 架构 的 Ruby、Python、Java 服 务 器 ， 这 一 类 服务 器 至 少 需要 使 用 单 路 至 强 的 配置 ， 我 们 线 上 的 核心 业务 机 器 选用 的 是 AWS c3.xlarge 类 型 。 至 于 可 靠 性 问题 ， 如 果 你 的 架构 中 只 有 一 台 应 用 服 
务 器 ， 那 肯定 需要 这 台 服 务 器 足够 可 靠 ， 此 时 RAID 是 绝对 不 能 忽视 的 选项 。 但 如 果 有 多 台 应 用 服务 器 并 设计 了 负载 均衡 机 制 ， 那 么 便 拥有 了 兄 余 功能 ， 那 就 不 必 过 于 担心 上 述 问 题 了 。 





OR wagre EC2 主 机 属于 Compute optimized 计 算 优 化 型 ， 也 就 是 CPU 加 强 型 。 这 种 类 型 的 CPU/ 内存 比例 较 大 ， 适 合计 算 密 集 型 业务 。 它 包含 c1 和 c3 系 列 ， 除 了 较 旧 的 两 个 cl 系列 (cl.medium 和 
cl.xlarge) 采用 普通 磁盘 做 实例 存储 以 外 ， 其 他 的 (也 就 是 c3 系 列 ) 都 以 SSD 做 实例 存储 ， 其 中 最 高 档次 的 c3.8xlarge (32 核 心 108 个 计算 单元 ) 的 网 络 性 能 明确 标注 为 10Gbps。c3 系 列 被 认为 是 最 具 性 价 比 的 类 
型 。 





特殊 应 用 : 除了 用 于 Web 架 构 中 的 应 用 程序 以 外 ， 如 果 你 的 服务 器 还 要 处 理 流 媒体 视频 编码 、 服 务 器 虚拟 化 、 媒 体 服务 器 ， 或 者 作为 游戏 服务 器 (逻辑 、 地 图 、 聊 天 等 ) 运行 ， 那 同样 会 对 CPU 和 内 
存 有 一 定 的 要 求 ， 至 少 要 考虑 四 核 以 上 的 服务 器 。 


: 公共 服务 : 这 里 指 的 是 邮件 服务 器 、 文 件 服务 器 、DNS 服 务 器 、 域 控 服 务 器 等 。 通 常 我 们 会 部 署 两 台 DNS 服 务 器 互相 备份 ， 域 控 主 服务 器 也 会 拥有 一 台 备 份 服务 器 (专用 的 或 非 专 用 的 ) ， 所 以 无 须 
对 于 可 靠 性 过 于 苛刻 。 而 邮件 服务 器 至 少 需要 具备 足够 的 硬件 可 靠 性 和 容量 大 小 ， 这 主要 是 对 邮件 数据 负责 ， 因 为 很 多 用 户 没有 保存 和 归档 邮件 数据 的 习惯 ， 待 其 重 装 系统 后 ， 就 会 习惯 性 地 到 服务 器 上 重 
新 下 载 相应 的 数据 。 至 于 性 能 问题 ， 应 该 评估 用 户 数量 后 再 决定 。 另 外 ， 考 虑 到 它 的 重要 性 ， 建 议 尽量 选择 稳定 的 服务 器 系统 ， 比 如 Linux 或 BSD 系 列 。 


数据 库 服务 器 : 数据 库 对 服务 器 的 要 求 是 最 高 的 ， 也 最 重要 的 。 一 般 情况 下 ， 无论 你 使 用 的 是 MySQL、SQLServer 还 是 Oralce， 它 部 需要 有 足够 快 的 CPU、 足 够 大 的 内 存 、 足 够 稳定 可 靠 的 硬件 。 因 
此 ， 可 直接 采用 Dell PowerEdge R710 或 HP 580G5，CPU 和 内 存 方面 也 要 尽 可 能 最 大 化 ， 如 果 预 算 充 分 ， 建 议 采用 固态 硬盘 做 RAID 10， 因 为 数据 库 服务 器 对 硬盘 的 I/O 要 求 是 最 高 的 。 





: Hadoop 和 Spark 分 布 式 计算 : 这 里 建议 选用 密集 存储 实例 一 一 D2 实例 ， 它 拥有 高 频率 Intel Xeon E5-2676v3 (Haswell) 处 理 器 、 高 达 48TB 的 HDD 本 地 存储 、 高 磁盘 吞吐 量 ， 并 支持 Amazon EC2 增 强 
型 联网 。 它 适合 大 规模 并 行 处 理 数据 仓库 、MapReduce 和 Hadoop 分 布 式 计算 、 分 布 式 文件 系统 、 网 络 文件 系统 、 日 志 或 数据 处 理 等 应 用 。 


: RabbitMQ 集 群 : Rabbit 消 息 中 间 件 是 基于 Erlang 语 言 开发 的 ， 对 内 存 的 要 求 很 高 。 这 里 建议 选用 t3.xlarge ， 它 适合 运行 高 性 能 数据 库 、 分 布 式 内 存 缓存 、 内 存 中 分 析 、 基 因 组 装配 与 分 析 、Microsoft 
SharePoint 以 及 其 他 企业 应 用 程序 。 


更 多 关于 AWS EC2 实 例 类 型 的 资料 请 参考 : https://aws.amazon.com/cn/ec2/instance-types/。 

















2. 服 务 器 需要 支持 多 少 用 户 访问 



































服务 器 就 是 用 来 给 用 户 提供 某 种 服务 的 ， 所 以 使 用 这 些 服务 的 用 户 同样 是 我 们 需要 考虑 的 因素 ， 可 以 从 下 面 几 个 具体 的 问题 进行 评估 : 























“有 多 少 注册 用 户 。 


“ 正常 情况 下 有 多 少 用 户 会 同时 在 线 访问 。 


“ 每 天 同时 在 线 访问 的 最 高 峰值 大 概 是 多 少 。 

















一 般 在 项 目 实施 之 前 ， 客 户 会 针对 这 些 问题 给 出 一 个 大 致 的 结果 ， 但 我 们 要 尽量 设计 得 充分 具体 ， 同 时 ， 还 要 对 未 来 的 用 户 增长 做 一 个 尽 可 能 准确 的 预测 和 规划 。 因 为 服务 器 可 能 需要 支持 越 来 越 多 的 
户 ， 所 以 在 设计 网 站 或 系统 架构 时 要 让 机 器 能 够 灵活 地 进行 扩展 。 
































3. 需 要 多 大 空间 来 存储 数据 



































这 个 问题 需要 从 两 个 方面 来 考虑 ， 一 方面 是 有 哪些 类 别 的 数据 ， 包 括 操作 系统 本 身 占 用 的 空间 、 安 装 应 用 程序 所 需要 的 空间 以 及 应 用 程序 产生 的 数据 、 数 据 库 、 日 志文 件 、 邮 件数 据 等 ， 如 果 网 站 是 
Web 2.0 的 ， 还 需 计算 每 个 用 户 的 存储 空间 ; 另 一 方面 是 从 时 间 轴 上 来 考虑 ， 这 些 数据 每 天 都 在 增长 ， 至 少 要 为 未 来 两 三 年 的 数据 增长 做 个 准确 的 测算 ， 这 需要 软件 开发 人 员 和 业务 人 员 一 起 来 提供 足够 的 
信息 。 最 后 ， 我 们 将 计算 出 来 的 结果 乘 以 1.5 左 右 的 系数 ， 方 便 维 护 的 时 候 做 各 种 数据 的 备份 和 文件 转移 操作 。 
























































4 业务 有 多 重要 
































这 需要 根据 自身 的 业务 领域 来 考虑 ， 下 面 举 几 个 简单 的 例子 ， 帮 助 大 家 了 解 这 些 服务 器 对 可 靠 性 、 数 据 完整 性 等 方面 的 要 求 。 


“ 如 果 你 的 服务 器 是 用 来 运行 一 个 W6ordPress 博 客 ， 那 么 ， 一 台 酷 害 服 务 器 ，1GB 的 内 存 ， 外 加 一 块 160GB 的 硬盘 就 足够 了 (如 果 是 AWS EC2 主 机 ， 可 以 考虑 t2.micto 实 例 类 型 ) 。 就 算 服务 器 出 现 了 一 
点 硬件 故障 ， 导 致 几 个 小 时 甚至 一 两 天 不 能 提供 访问 ， 生 活 会 照常 继续 。 





“ 如 果 你 的 服务 器 是 用 于 测试 平台 的 ， 那 么 就 不 会 像 生产 环境 那样 对 可 靠 性 有 极 高 的 要 求 ， 你 所 需要 做 的 可 能 只 是 完成 例 行 的 数据 备份 ， 若 服务 器 宕 机 ， 只 要 能 在 当天 解决 完 问 题 就 可 以 了 。 


“ 如 果 是 一 个 电子 商务 公司 的 服务 器 ， 运 行 着 电子 商务 网 站 平台 ， 当 硬件 发 生 故 障 而 导致 窗 机 时 ， 你 需要 对 以 下 “ 危 言 竺 听 ” 的 后 果 做 好 心理 准备 : 投诉 电话 被 打 爆 、 顾 客 大 量 流失 、 顾 客 要 求 退 款 、 
市 场 推 广 费 用 打 水 漂 、 员 工 无 事 可 做 、 公 司 运 营 陷入 竣 疾 状态 、 数 据 丢 失 。 事 实 上 ， 电 子 商 务 网 站 一 般 是 需要 365X24 小 时 不 间断 运行 和 监控 的 ， 且 具有 专人 轮流 值守 ， 同 时 要 有 足够 的 备份 设备 以 及 每 天 的 
专人 检查 。 


“ 如 果 是 大 型 广告 类 或 门户 类 网 站 ， 那 么 建议 选择 CDN 系 统 。 因 为 它 具 有 提高 网 站 响应 加 度 、 负 载 均衡 、 有 效 抵御 DDOS 攻 击 等 特点 ， 相 对 而 言 ， 每 节点 都 会 有 大 量 的 宛 余 。 











这 里 其 实 只 是 简单 讨论 了 业务 对 服务 器 硬件 可 靠 性 的 要 求 。 要 全 面 解决 这 个 问题 ， 不 能 只 考虑 单个 服务 器 的 硬件 ， 还 需要 结合 系统 架构 的 规划 设计 。 











在 回答 了 以 上 问题 后 ， 接 下 来 就 可 以 决定 下 面 这 些 具体 的 选项 了 。 





(1) 选择 什么 CPU 




















回忆 一 下 上 面 关 于 “服务 器 运行 什么 应 用 ”和 “需要 支持 多 少 用 户 访问 ”两 个 方面 的 考虑 ， 这 将 帮助 我 们 选择 合适 的 CPU。 毫 无 疑问 ，CPU 的 主 频 越 高 ， 其 性 能 也 就 更 高 ， 换 而 言 之 ， 两 个 CPU 要 比 一 
个 CPU 性 能 更 好 ， 至 强 (Xeon) 也 肯定 比 酷 窒 (Core) 性 能 更 强 。 但 究竟 怎样 的 CPU 才 是 合适 的 呢 ? 下 面 将 为 你 提供 一 些 常见 情况 下 的 建议 。 






































“ 如 果 业 务 刚 刚 起 步 ， 预 算 不 是 很 充足 ， 建 议 选择 一 款 经 典 的 酷 寄 服务 器 ， 这 可 以 帮 你 节约 大 量 成 本 。 而 有 全， 以 后 可 以 根据 业务 发 展 的 情况 ， 随 时 升级 到 更 高 配置 的 服务 器 。 


“ 如 果 需 要 在 一 台 服 务 器 上 同时 运行 多 种 应 用 服务 ， 例 如 基于 LNMP 架 构 的 Web 网 站 ， 那 么 一 个 单 核 至 强 〈 例 如 X3330) 或 新 一 代 的 酷 害 15 (双核 四 线程 ) 将 是 最 佳 的 选择 。 虽 然 从 技术 的 角度 来 说 ， 这 
不 是 一 个 好 主意 ， 但 至 少 能 够 帮 你 节约 一 大 笔 成 本 。 


: 如果 服务 器 要 运行 MYSQL 或 Oracle 数 据 库 ， 且 目前 有 几 百 个 用 户 同时 在 线 ， 未 来 还 会 不 断 增 长 ， 那 么 你 至 少 应 该 选择 安装 一 个 双 四 核 服务 器 。 
“ 如 果 需 要 的 是 Web 应 用 服务 器 ， 双 四 核 基本 就 可 以 满足 我 们 的 要 求 了 。 


(2) 需要 多 大 的 内 存 





























同样 ，“ 服 务 器 运行 什么 应 用 ”和 “需要 支持 多 少 用 户 访问 ”两 方面 的 考虑 也 将 帮助 我 们 选择 合适 的 内 存 容量 。 与 CPU 相 比 ， 笔 者 认为 内 存 (RAM) 才 是 影响 性 能 的 最 关键 因素 。 因 为 在 相当 多 正在 运 
行 的 服务 器 中 ，CPU 的 利用 率 一 般 为 10% ~ 30%， 甚 至 更 低 。 但 我 们 发 现 由 于 内 存 容量 不 够 导致 服务 器 运行 缓慢 的 案例 比比 皆 是 ， 如 果 服 务 器 不 能 分 配 足够 的 内 存 给 应 用 程序 ， 应 用 程序 就 需要 通过 硬盘 
口交 换 读 写 数 据 了 ， 这 将 导致 网 站 慢 得 令 人 无 法 接受 。 内 存 的 大 小 主要 取决 于 服务 器 的 用 户 数量 ， 当 然 也 和 应 用 软件 对 内 存 的 最 低 需求 和 内 存 管理 机 制 有 关 ， 所 以 ， 最 好 由 你 的 程序 员 或 软件 开发 商 给 出 最 
佳 的 内 存 配置 建议 。 下 面 同样 给 出 了 一 些 常见 应 用 环境 下 的 内 存 配置 建议 : 






























































































































































“无论 是 Apache 或 Nginx 服 务 器 ， 一 般 情况 下 Web 前 端 服务 器 不 需要 配置 特别 高 的 内 存 ， 尤 其 是 在 集群 架构 中 ，4GB 的 内 存 就 已 经 足够 了 。 如 果 用 户 数量 持续 增加 ， 我 们 才 会 考虑 使 用 8GB 或 更 高 的 内 
存 。 单 Apache Web 机 器 ， 在 配置 了 16GB 内 存 后 ， 可 以 抗 6000 个 并 发 链接 数 。 


“ 对 于 运行 Tomcat、Resin、WebLogic 的 应 用 服务 器 ，8GB 内 存 应 该 是 基准 配置 ， 更 准确 的 数字 需要 根据 用 户 数量 和 技术 架构 来 确定 。 

“ 数据 库 服务 器 的 内 存 由 数据 库 实 例 的 数量 、 表 大 小 、 索 引 、 用 户 数 等 决定 ， 一 般 建 议 配置 16GB 以 上 的 内 存 ， 笔 者 公司 在 许多 项 目 方案 中 使 用 了 24GB 一 48GB 的 内 存 。 
“ 诸如 Postfix 和 Exchange 这 样 的 邮件 服务 器 对 内 存 的 要 求 并 不 高 ，1GB~2GB 就 可 以 满足 了 。 

“ 还 有 一 些 特殊 的 服务 器 ， 需 要 为 之 配置 尽 可 能 高 的 内 存 容量 ， 比 如 配置 有 Varnish 和 Memcached 的 缓存 服务 器 等 。 


“ 若是 只 有 一 台 文 件 服务 器 ，1GB 的 内 存 可 能 就 足够 了 。 




















事实 上 ， 由 于 内 存 技术 在 不 断 提 高 ， 价 格 也 在 不 断 降 低 ， 因 此 才 得 以 近乎 奢侈 地 讨论 4GB、8GB、16GB 这 些 曾经 不 可 想象 的 内 存 容量 。 然 而 ， 除 了 花 钱 购买 内 存 来 满足 应 用 程序 的 “ 贪 禁 ” 之 外 ， 系 统 
优化 和 数据 库 优化 仍然 是 我 们 需要 重视 的 问题 。 




















(3) 需要 怎样 的 硬盘 存储 系统 























硬盘 存储 系统 的 选择 和 配置 是 整个 服务 器 系统 里 最 复杂 的 一 部 分 ， 需 要 考虑 硬盘 的 数量 、 容 量 、 接 口 类 型 、 转 速 、 缓 存 大 小 ， 以 及 是 否 需 要 RAID 卡 、RAID 卡 的 型 号 和 RAID 级 别 等 问题 。 甚 至 在 一 些 高 
可 靠 性 高 性 能 的 应 用 环境 中 ， 还 需要 考虑 使 用 怎样 的 外 部 存储 系统 (SAN、NAS 或 DAS) 。 下 面 归纳 一 下 服务 器 的 硬盘 Raid 卡 的 特点 : 












































“ 如 果 是 用 做 缓存 服务 器 ， 比 如 Varnish 或 Redis， 可 以 考虑 用 RAID 0; 

“ 如 果 是 跑 Nginx+FastCGI 或 Nginx 等 应 用 ， 可 以 考虑 用 RAID 1; 

“ 如 果 是 内 网 开发 服务 器 或 存放 重要 代码 的 服务 器 ， 可 以 考虑 用 RAID 5; 

“ 如 果 是 跑 MySQL 或 Oracle 等 数据 库 应 用 ， 可 以 考虑 用 固态 硬盘 做 RAID 5 或 RAID 10。 


5. 网 卡 性 能 方面 的 考虑 














如 果 你 的 基础 架构 是 多 服务 器 环境 ， 而 且 服 务 器 之 间 有 大 量 的 数据 交换 ， 那 么 建议 你 为 每 台 服 务 器 配置 两 个 或 更 多 的 网 卡 ， 一 个 用 于 对 外 提供 服务 ， 另 一 个 用 于 内 部 数据 交换 。 因 为 现在 项 目 外 端 都 置 
于 防火 墙 内 ， 所 以 很 多 时 候 单 网 卡 就 足够 了 。 而 比如 LVS+Keepalived 这 种 只 用 公 网 地 址 的 Linux 集 群 架 构 ， 对 网 卡 的 速率 要 求 很 高 ， 建 议 大 家 选用 万 兆 网 卡 。 































































































如 果 我 们 采用 的 是 AWS EC2 云 主机 环境 ， 单 纯 以 EC2 作 为 LVS 或 HAproxy 意 义 不 大 。 如 果 大 家 经 常 使 用 AWS EC2 机 器 ， 应 该 注意 到 AWS 将 机 器 的 网 卡 性 能 分 成 三 种 级 别 ， 即 Low、Moderate、High， 
了 b 么 这 三 个 级 别 是 什么 情况 呢 ? 虽然 AWS 没 有 带宽 限制 ， 但 是 由 于 多 虚拟 机 共享 HOST 物理 机 的 网 络 性 能 和 I/O 性 能 ， 单 个 虚拟 机 的 网 络 性 能 不 是 特别 好 度量 ， 不 过 大 概 是 这 样 : Low 级 别 的 是 
20MBps，Moderate 级 别 的 是 40MBps，High 级 别 的 能 达到 80MBps ~ 100MBps。 从 上 面 分 析 的 情况 可 以 得 知 ， 单 台 AWS EC2 主 机 作为 网 站 的 负载 均衡 入 口 ， 容 易 成 为 网 站 的 瓶颈 。 这 个 时 候 可 以 考虑 使 
AWS 提 供 Elastic Load Balancing 的 产品 ， 它 可 以 在 云 中 的 多 个 Amazon EC2 实 例 间 自动 分 配 应 用 程序 的 访问 流量 ， 相 当 于 将 网 站 的 流量 分 担 到 了 多 台 机 器 上 。 它 可 以 让 我 们 实现 更 高 水 平 的 应 用 程序 容 
错 性 能 ， 从 而 无 颖 提供 分 配 应 用 程序 流量 所 需 的 负载 均衡 容量 。 
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6. 服 务 器 安全 方面 的 考虑 























由 于 目前 国内 的 DDoS 攻 击 是 比较 普遍 ， 建 议 给 每 个 项 目 方案 和 自己 的 电子 商务 网 站 配备 硬件 防火 墙 ， 比 如 Juniper、Cisco 等 。 当 然 ， 这 个 问题 也 是 网 站 后 期 运营 维护 需要 考虑 的 ， 这 里 只 是 想 让 大 家 有 
个 概念 性 的 认识 。 此 外 ， 建 议 租赁 CDN 服 务 ， 这 样 万 一 不 幸 遭 遇 恶 意 的 DDoS 流 量 攻 击 ，CDN 能 够 帮助 抵挡 部 分 流量 。 


7. 根 据 机 架 数 合理 安排 服务 器 的 数量 








这 个 问题 应 该 在 项 目 实施 前 就 准备 好 ， 选 择 服 务 器 时 应 该 明确 服务 器 规格 ， 即 到 底 是 1U、2U、 还 是 4U， 到 底 有 多 少 台 服务 器 和 交换 机 ， 应 该 如 何 安排 ， 毕 竟 机 柜 只 有 42U 的 容量 。 在 小 项 目 中 这 个 问 
题 可 能 无 关 紧 要 ， 但 在 大 型 项 目的 实施 过 程 中 ， 这 个 问题 就 很 突出 了 ， 我 们 应 该 根据 现 有 或 额定 的 机 架 数目 确定 到 底 应 该 选择 多 少 台 服 务 器 和 交换 机 。 






































8 .成 本 考虑 : 服务 器 的 价格 问题 




















无 论 是 公司 采购 时 ， 还 是 在 项 目 实施 过 程 中 ， 这 都 是 重要 的 问题 。 笔 者 的 方案 经 常 被 退回 ， 理 由 就 是 超出 预算 。 尤 其 在 一 些小 项 目 ， 预 算 更 吃紧 。 之 前 笔者 经 常 面 对 的 客户 需求 是 为 证 券 类 资讯 网 站 设 
计 方 案 ， 只 要 求 网 站 在 周一 至 周 日 的 早上 九 点 至 下 午 三 点 期 间 不 出 问题 即 可 ， 并 不 需要 做 复杂 的 负载 均衡 高 可 用 。 所 以 这 时 候 笔者 会 做 成 单 Nginx 或 Haproxy， 后 面 接 两 台 Web 应 用 服务 器 。 可 如 果 是 做 中 
大 型 电子 商务 网 站 ， 在 服务 器 成 本 上 的 控制 就 尤其 重要 了 。 事 实 上 ， 我 们 经 常 出 现 的 问题 是 ， 客 户 给 出 的 成 本 预算 有 限 ， 而 我 们 的 应 用 又 需要 比较 多 的 服务 器 ， 这 时 候 ， 我 们 不 得 不 设计 另外 一 套 最 小 化 成 
本 预算 方案 来 折 中 处 理 。 





























































































































以 上 8 个 方面 就 是 我 们 在 采购 服务 器 时 需要 注意 的 因素 ， 在 选择 服务 器 的 组 件 时 要 有 所 偏 
时 ， 要 做 到 最 优 的 性 价 比 。 
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， 然 后 根据 系统 或 网 站 架构 来 决定 服务 器 的 数量 ， 尽 量 做 到 服务 器 资源 利用 的 最 大 化 。 在 控制 方案 成 本 的 同 








1.3 “硬件 对 Linux 性 能 的 影响 








给 庸 置疑 ， 服 务 器 的 硬件 会 对 Linux 性 能 产生 关键 性 的 影响 ， 其 中 ， 如 服务 器 的 CPU、 内 存 及 硬盘 都 会 影响 单机 的 性 能 。 





1.CPU 








CPU 是 操作 系统 稳定 运行 的 根本 ，CPU 的 速度 与 性 能 在 很 大 程度 上 决定 了 系统 整体 的 性 能 ， 因 此 ，CPU 数 量 越 多 、 主 频 越 高 ， 服 务 器 性 能 也 就 相对 越 好 。 就 笔者 目前 跑 的 应 用 来 看 ， 确 实 有 因为 CPU 性 
能 达 不 到 要 求 造成 业务 出 现 问题 的 情况 。 
































2. 内 存 
































内 存 的 大 小 也 是 影响 Linux 性 能 的 一 个 重要 因素 ， 内 存 太 小 ， 系 统 进程 将 被 阻塞 ， 应 用 也 将 变 得 缓慢 ， 甚 至 失去 响应 ; 内存 太 大 ， 叶 致 资源 浪费 。Linux 系 统 采 用 了 物理 内 存 和 虚拟 内 存 两 种 方式 ， 虚 拟 
内 存 虽 然 可 以 缓解 物理 内 存 的 不 足 ， 但 是 占用 过 多 的 虚拟 内 存 ， 应 用 程序 的 性 能 将 明显 下 降 ， 要 保证 应 用 程序 的 高 性 能 运行 ， 物 理 内 存 一 定 要 足够 大 ， 但 是 过 大 的 物理 内 存 ， 会 造成 内 存 资源 浪费 ， 例 如 ， 
在 一 个 32 位 处 理 器 的 Linux 操 作 系 统 上 ， 超 过 8GB 的 物理 内 存 都 将 被 浪费 。 因 此 ， 要 使 用 更 大 的 内 存 ， 建 议 安装 64 位 的 操作 系统 ， 同 时 开启 Linux 的 大 内 存 内 核 支持 。 由 于 处 理 器 寻 址 范围 的 限制 ， 在 32 位 
Linux 操 作 系统 上 ， 应 用 程序 单个 进程 最 大 只 能 使 用 4GB 的 内 存 ， 这 样 一 来 ， 即 使 系统 有 更 大 的 内 存 ， 应 用 程序 也 无 法 做 到 物 尽 其 用 ， 解 决 的 办 法 就 是 使 用 64 位 处 理 器 ， 安 装 64 位 操作 系统 。 在 64 位 操作 系 
统 下 ， 可 以 满足 所 有 应 用 程序 对 内 存 的 使 用 需求 ， 几 乎 没有 限制 。 

























































































































































































3. 磁 盘 /O 性 能 


















































磁盘 的 MO 性 能 直接 影响 应 用 程序 的 性 能 ， 在 一 个 有 频繁 读 写 的 应 用 中 ， 如 果 磁 盘 /O 性 能 得 不 到 满足 ， 就 会 导致 应 用 停滞 。 好 在 现今 的 磁盘 都 采用 了 很 多 方法 来 提高 MO 性 能 ， 比 如 常见 的 磁盘 RAID 技 

















术 。 





RAID (磁盘 阵 形 ) 通过 将 多 块 独立 的 磁盘 (物理 硬盘 ) 按 不 同方 式 组 合 起 来 形成 一 个 磁盘 组 (逻辑 硬盘 ) ， 从 而 提供 比 单个 硬盘 更 高 的 VO 性 能 和 数据 宛 余 。 通 过 RAID 技 术 组 成 的 磁盘 组 就 相当 于 一 个 
大 硬盘 ， 用 户 可 以 对 它 进行 分 区 格式 化 、 建 立 文件 系统 等 操作 ， 跟 单个 物理 硬盘 一 模 一 样 ， 唯 一 不 同 的 是 RAID 磁 盘 组 的 MO 性 能 比 单个 硬盘 要 高 很 多 ， 同 时 在 数据 的 安全 性 方面 也 有 很 大 提升 。 



































根据 磁盘 组 合 方式 的 不 同 ，RAID 可 以 分 为 RAID 0、RAID 1、RAID 2、RAID 3、RAID 4、RAID 5、RAID 6、RAID 7、RAID 0+1、RAID 10 等 级 别 ， 常 用 的 RAID 级 别 有 RAID 0、RAID 1、RAID 5、 
RAID 10， 这 里 进行 简单 介绍 。 


" RAID 0: 通过 把 多 块 硬盘 粘 合成 一 个 容量 更 大 的 硬盘 组 ， 提 高 了 磁 慢 的 性 能 和 吞吐 量 。 这 种 方式 成 本 低 ， 要 求 至 少 两 个 磁盘 ， 但 是 没有 容错 和 数据 修复 功能 ， 因 而 只 能 用 在 对 数据 安全 性 要 求 不 高 的 


环境 中 。 


: RAID 1: 也 就 是 磁盘 镜像 ， 通 过 把 一 个 磁盘 的 数据 镜像 到 另 一 个 磁盘 上 ， 最 大 限度 地 保证 磁盘 数据 的 可 靠 性 和 可 修复 性 ， 具 有 很 高 的 数据 宛 余 能 力 ， 但 磁盘 利用 率 只 有 50%， 因 而 成 本 最 高 ， 多 用 在 
保存 重要 数据 的 场合 。 


“ RAID 5: 采用 了 磁盘 分 段 加 奇偶 校 验 技 术 ， 从 而 提高 了 系统 可 靠 性 ，RAID5 读 出 效率 很 高 ， 写 入 效率 一 般 ， 至 少 需要 3 块 盘 。 允 许 一 块 磁盘 故障 ， 而 不 影响 数据 的 可 用 性 。 


“ RAID 10: 把 RAID 1 和 RAID 0 技术 结合 起 来 就 成 了 RAID 10， 至 少 需要 4 个 硬盘 。 此 种 方式 的 数据 除 分 布 在 多 个 盘 上 外 ， 每 个 盘 都 有 其 镜像 盘 ， 提 供 全 宛 余 能 力 ， 同 时 允许 一 个 磁盘 故障 ， 而 不 影响 数 
据 可 用 性 ， 并 具有 快速 读 / 写 能 力 。 

















通过 了 解 各 个 RAID 级 别 的 性 能 ,可 以 根据 应 用 的 不 同 特性 ， 选 择 适合 自身 的 RAID 级 别 ， 从 而 保证 应 用 程序 在 磁盘 方面 达到 最 优 性 能 。 另 外 ， 固 态 硬盘 (SSD) 的 磁盘 10 性 能 比 SAS 磁 盘 优 异 很 多 ， 可 以 
考虑 用 SSD 磁 盘 要 代替 普通 的 SAS 磁 盘 。 






























































4. 网 络 宽带 












































Linux 系 统 下 的 各 种 应 用 一 般 都 是 基于 网 络 的 ， 因 此 网 络 带宽 也 是 影响 性 能 的 一 个 重要 因素 ， 低 速 、 不 稳定 的 网 络 将 导致 网 络 应 用 程序 的 访问 阻塞 ， 而 稳定 、 高 速 的 网 络 带 宽 可 以 保证 应 用 程序 在 网 络 上 
畅通 无 阻 地 运行 。 幸 运 的 是 ， 现 在 的 网 络 一 般 都 是 干 兆 带宽 或 光纤 网 络 ， 带 宽 问 题 对 应 用 程序 性 能 造成 的 影响 也 在 逐步 降低 。 



























































1.4 CentOS 6.8 x86_ 64 最 小 化 安装 后 的 优化 



























































购买 服务 器 以 后 要 做 的 第 一 件 事 就 是 安装 操作 系统 ， 这 里 推荐 CentOS 6.8 x86_64， 安 装 系统 时 要 选择 最 小 化 安装 (不 需要 图 形 ) ， 大 家 在 用 服务 器 时 记得 一 个 原则 ， 系 统 安装 的 应 用 程序 包 越 少 ， 服 
务 器 越 稳定 。 至 于 服务 器 单机 性 能 调 优 ， 应 本 着 稳定 安全 的 原则 ， 尽 量 不 要 改动 系统 原 有 的 配置 (CentOS 系 统 自身 的 文件 和 内 存 机 制 就 很 优秀 ) ， 以 下 配置 优化 部 分 也 适合 Amazon Linux 系 统 ， 大 家 可 以 
对 比 参 考 。 















































1.4.1 系统 的 基础 优化 








建议 对 CentOS 6.8 系 统 做 如 下 的 基础 优化 ， 比 如 更 新 yum 源 提升 速度 ， 关 闭 不 必要 开启 的 服务 等 。 


1. 更 新 yum 官 方 源 














CentOS 6.8 系 统 自 带 的 更 新 源 速度 较 慢 ， 想 必 各 位 都 有 所 感受 。 为 了 让 CentOS 6.8 系 统 使 用 速度 更 快 的 yum 更 新 源 ， 运 维 人 员 都 会 选择 更 换 源 ， 笔 者 一 般 会 选择 网 易 的 更 新 源 ， 详 细 步 骤 如 下 所 示 。 














1) 下 载 repo 文 件 ， 命 令 如 下 所 示 : 





wget http://mirrors.163.com/ .help/CentOS6-Base-163.repo 


2) 备份 并 蔡 换 系统 的 repo 文 件 ， 命 令 如 下 所 示 : 





cd /etc/yum.repos.d/ 
mv CentOS-Base.repo CentOS-Base.repo.bak 
mv CentOS6-Base-163.repo CentOS-Base.repo 








3) 执行 yum 源 更 新 ， 如 下 。 





yum clean all # 清 除 yum 缓 存 
yum makecache # 重 建 缓存 
yum update # 升 级 Linux 系 统 





增加 epel 源 ， 详 细 步 骤 如 下 。 


1) 下 载 rpm 文 件 并 进行 安装 ， 命 令 如 下 : 





wget http://dl.fedoraproject .org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm 




















2) 安装 yum-priorities 源 优先 级 工具 ， 命 令 如 下 : 











yum install yum-priorities 











yum-priorities 源 优先 级 工具 是 yum-plugin-priroites 插 件 ， 用 来 给 yum 源 分 优先 级 。 比 如 说 系统 存在 官方 源 、epel、puppetlabs 三 个 yum 源 ， 三 个 yum 源 中 可 能 含有 相同 的 软件 ，yum 管 理 器 为 了 分 
辨 更 新 系统 或 者 安装 软件 的 时 候 用 哪个 yum 源 的 软件 ， 则 会 用 上 该 工具 。 












































如 果 说 ， 设 置 官方 的 yum 源 优先 级 最 高 ，epelyum 源 第 二 ，puppetlabs 第 三 (用 1 到 99 来 表示 ，1 最 高 ) ， 那 在 安装 程序 的 时 候 ， 就 会 先 寻 找 官方 的 yum 源 ， 如 果 源 里 面 有 需要 的 程序 ， 那 就 停止 寻 
找 ， 直 接 安装 找到 的 ， 如 果 没 有 找到 ， 则 依次 寻找 epel 和 rpmfusion 的 源 。 如 果 说 三 个 yum 源 都 含有 同一 个 软件 ， 那 就 安装 优先 级 最 高 的 yum 源 中 的 程序 。 添 加 优先 级 的 过 程 比较 简单 ， 只 需要 编辑 对 应 的 
repo 文 件 ， 在 文件 最 未 添加 如 下 内 容 即 可 : 








priority= 对 应 优先 级 数字 





注意 ， 要 想 开 启 yum 源 优先 级 功能 ， 确 保 priorities.conf 文 件 里 面 有 如 下 内 容 ， 需 要 先 打开 此 文件 ， 打 开 的 命令 如 下 : 





Vim /etc/yum/pluginconf.d/priorities.conf 











确保 文件 里 面包 含 如 下 内 容 : 
[main] 

enabled=1 

2. 关 闭 不 需要 的 服务 














众所周知 ， 服 务 越 少 ， 系 统 占 用 的 资源 就 会 越 少 ， 所 以 建议 大 家 把 不 需要 的 服务 关闭 掉 ， 这 样 做 的 好 处 是 减少 内 存 和 CPU 资 源 占用 。 首 先 可 以 看 下 系统 中 存在 着 哪些 已 经 启动 的 服务 ， 查 看 命令 如 下 : 























ntsysv 





下 面 列 出 需要 启动 的 服务 ， 未 列 出 的 服务 根据 实际 情况 关闭 : 
“crond: 自动 计划 任务 。 
“ network; Linux 系 统 的 网 络 服务 ， 这 个 非常 重要 ， 不 开启 此 服务 的 话 ， 服 务 器 是 不 能 联网 的 。 
: sshd: OpenSSH 服 务 器 守护 进程 。 
“rsyslog: Linux 的 日 志 系 统 服务 ， 必 须要 启动 。 


3. 关 闭 不 需要 的 TTY 








可 用 vim 编 辑 器 打开 vim/etc/init/start-ttys.conf 文 件 ， 文 件 内 容 如 下 所 示 : 











start on stopped rc RUNLEVEIL=[2345] 
env ACTIVE CONSOLES=/dev/tty[1-6] 
env X TTY=/dev/ttyl 


task 
script 
. /etc/sysconfig/init 
for tty in $ (echo $ACTIVE CONSOLES) ; do 
[ "$RUNLEVEL" = "5" -a "S$tty" = "$X TTY" ] && continue 
initct1 start tty TTY=$tty 加 


done 
end script 











这 段 代 码 会 使 init 打 开 6 个 控制 台 ， 可 分 别 用 ALT+F1 到 ALT+F6 进 行 访问 。 此 6 个 控制 台 默 认 都 驻 留 在 内 存 中 ， 用 ps aux 命 令 就 可 以 看 到 ， 如 下 : 














Ps aux | grep tty | grpe -v grep 





命令 显示 结果 如 下 所 示 : 





root 1118 0.0 0.1 4064 596 ttyl Ss+ 13:14 0:00 
/sbin/mingetty /dev/ttyl 
root 1120 0.0 0.1 4064 596 tty2 Ss+ 13:14 0:00 
/sbin/mingetty /dev/tty2 
root 1122 0.0 0.1 4064 596 tty3 Ss+ 13:14 0:00 
/sbin/mingetty /dev/tty3 
root 1124 0.0 0.1 4064 596 tty4 Sst 13;14 00 
/sbin/mingetty /dev/tty4 
root 1126 0.0 0.1 4064 600 tty5 Ss+ 13:14 0:00 
/sbin/mingetty /dev/tty5 
root 1128 0.0 0.1 4064 
/sbin/mingetty /dev/tty6 


600 tty6 Ss+ 13:14 0:00 
































有 实 上 没有 必要 使 用 这 么 多 TTY， 那 如 何 关闭 不 需要 的 进程 呢 ? 





出 


通常 保留 两 个 控制 台 就 可 以 了 ， 打 开 /etc/init/start-ttys.conf 文 件 ， 注 意 以 下 代码 内 容 : 





env ACTIVE CONSOLES=/dev/tty[1-6] 





将 [1-6] 修 改 为 [1-2]， 然 后 打开 /etc/sysconfig/init 文 件 ， 注 意 以 下 代码 内 容 : 





ACTIVE_ CONSOLES=/dev/tty[1-6] 























将 [1-6] 修 改 为 [1-2]， 并 重启 机 器 即 可 ， 我 们 依旧 使 用 ps aux 命 令 查 看 tty 个 数 ， 如 下 所 示 : 





root 1105 0.0 0.1 4064 600 ttyl Ss+ 13:48 0:00 
/sbin/mingetty /dev/ttyl 
root 1107 0.0 0.1 4064 600 tty2 Ss+ 13:48 0:00 
/sbin/mingetty /dev/tty2 





4. 对 TCP/IP 网 络 参数 进行 调整 


调整 TCP/IP 网 络 参数 可 以 加 强 抗 SYN Flood 的 能 力 ， 命 令 如 下 所 示 : 





echo 'net.ipv4.tcp syncookies = 1' >> /etc/sysctl.conf 


sysctl -p 





5. 修 改 SHELL 命 令 的 history 记 录 个 数 


用 vim 编 辑 器 打开 /etc/profile 文 件 ， 关 注 HISTSIZE=1000: 





Vi /etc/profile 





找到 HISTSIZE=1000 后 ,将 其 改 为 HISTSIZE=100 (这 条 可 根据 实际 工作 环境 而 定 ) 。 











不 需要 本 


启 系统 就 可 让 其 生效 ， 如 下 所 示 : 





Source /etc/profile 





6. 定 时 校正 服务 器 的 时 间 


我 们 可 以 定时 校正 服务 器 的 时 间 ， 命 令 如 下 所 示 : 





yum install ntp 
crontab -~e 





加 入 一 行 : 





*/5 * * * * /usr/sbin/ntpdate ntp.api.bz>>/dev/null 2>&1 








调试 crontab 时 间 可 以 参考 工具 https://crontab.guru。 








ntp.api.bz 是 一 组 NTP 服 务 器 集群 ， 之 前 是 6 台 服 务 器 ， 位 于 上 海 电信 现在 是 3 台 服 务 器 ， 分 散 到 上 海 和 浙江 电信 ， 可 用 dig 命 令 查看 : 

















dig ntp.api.bz 





命令 显示 结果 如 下 所 示 : 





7 <<>> DiG 9.8.2rcl-RedHat-9.8.2-0.62.rcl.e16 9.1 <<>> ntp.api .bz 


77 global options: +cmd 
77 Got answer: 


7 7 ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 61931 
77 flags: qr rd ra; QUERY: 1, ANSWER: 5, AUTHORITY: 2, ADDITIONAL: 2 


77 QUESTION SECTION: 
;ntp.api .bz.INA 


7; ANSWER SECTION: 


ntp.api .bz.600INCNAMEtime.asia.apple.com. 
time.asia.apple.com.3172INCNAMEtime-ios.g.aaplimg.com. 
time-ios.g.aaplimg.com.600INA17.253.84.125 
time-ios.g.aaplimg.com.600INA17.253.84.253 
time-ios.g.aaplimg.com.600INA17.253.72.243 


77 AUTHORITY SECTION: 


g.aaplimg.com.31INNSa.gslb.aaplimg .com. 
g.aaplimg.com.31INNSb.gslb.aaplimg.com. 


77 ADDITIONAL SECTION: 


a.gslb.aaplimg.com.28200INA17.253.201.8 
b.gslb.aaplimg.com.60802INA17.253.206.8 


77 Query time: 30 msec 


7 7 SERVER: 192.168.1.1#53(192.168.1.1) 
77 WHEN: Sun Apr 23 09:43:19 2017 


77 MSG SIZE rcvd: 211 





7. 停 止 IPv6 网 络 服务 


在 CentOS 6.8 默 认 的 状态 下 ，IPv6 是 被 启用 的 ， 可 用 如 下 命令 查看 : 





lsmod | grep ipv6 




















命令 显示 结果 如 下 : 

nf_conntrack ipv6 8748 2 

nf defrag ipv6 11182 1 nf _ conntrack ipv6 

nf_conntrack 79357 2 nf conntrack ipv6,xt state 

ipv6 321422 23 ip6t REJECT,nf conntrack ipv6,nf defrag ipv6 

有 些 网 络 和 应 用 程序 还 不 支持 IPvV6， 因 此 ， 禁 用 IPv6 可 以 说 是 一 个 非常 好 的 选择 ， 以 此 加 强 系统 的 安全 性 ， 提 高 系统 的 整体 性 能 。 不 过 ， 首 先 要 确认 一 下 IPv6 是 否 处 于 被 启动 的 状态 ， 命 令 如 下 : 

















ifconfig -a ~ 列 出 全 部 网 络 接口 信息 








命令 结果 如 下 所 示 : 
eth0 Link encap:Ethernet HWaddr 00:16:3E:7F:67:C3 


inet addr:192,168.1.207 Beast;192.168,.1.255 Mask:255,255,255,.Q 
inet6 addr: fe80::216:3eff:fe7f:67c3/64 Scope:Link 

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 

RX packets:405835 errors:0 dropped:0 overruns:0 frame:0 

TX packets:197486 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:1000 

RX bytes:327950786 (312.7 MiB) TX bytes:17186162 (16.3 MiB) 


Interrupt:24 


lo 


Link 
inet 


encap:Local Loopback 
addr:127.0.0.1 Mask:255.0.0.0 


inet6 addr: ::1/128 Scope:Host 
UP LOOPBACK RUNNING MTU:16436 Metric:1 


RX packets:0 errors:0 dropped:0 overruns:0 frame:0 
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 


collisions:0 txqueuelen:0 
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) 





然后 修改 相应 配置 文件 ， 停 止 ipv6， 命 令 如 下 : 





echo "install ipv6 /bin/true" > /etc/modprobe.d/disable-ipv6.conf 


# 每 当 系统 需要 加 载 IPv6 模 块 时， 强制 执 行 /bin/true 来 代替 实际 加 载 的 模块 


echo "IPV6INIT=no" >> Se A 


# 禁 用 基于 IPv6 网 络 ， 使 之 不 会 被 触 


启动 





注 
人 @ 洁 。 果 关闭 ipv6 选 项 ， 在 安装 LVS 服 务 的 机 器 上 面 运行 ipvsadm 会 出 现 如 下 报错 : 


FATAL:Error insertingip_vs (/lib/modules/2.6.32-573.7.1.el6.x86_64/kernel/net/netfilter/ipvs/ip_vs.ko) :Unknown symbol in module, or unknown parameter (see dmesg) 


Can't initialize ipvs:Protocol not available 


Are you sure that IP Virtual Server is built in the kernel or as module? 


所 以 此 选项 的 优化 应 该 根据 实际 情况 来 定 ， 如 果 有 需要 安装 LVS 服 务 的 机 器 建议 略 过 此 项 优化 。 


8. 调 整修 改 文件 描述 符 限 制 


在 Linux 系 统 中 ， 所 有 东西 都 可 以 看 成 是 文件 ， 文 件 又 可 分 为 普通 文件 、 目 录 文 件 、 链 接 文件 和 设备 文件 。 文 件 描述 符 是 内 核 为 了 高 效 管 理 已 被 打开 的 文件 所 创建 的 索引 ， 是 一 个 非 负 整数 (通常 是 小 整 








数 ) ， 


3。 大 家 在 运行 Linux 系 统 下 的 服务 应 用 时 (例如 Squid 服 务 ) 
述 符 是 系统 的 一 个 重要 资源 ， 虽 然 阅 系统 内 存 有 多 少 就 可 以 打开 多 少 的 文件 描述 符 ， 
的 机 器 可 以 为 419430) ， 查 看 系统 级 别 的 最 大 打开 文件 数 可 以 使 
户 级 限制 ) ， 默 认 值 一 般 是 1024， 可 以 使 用 ulimit-n 命 令 查看 。 





限制 ， 比 如 4G 内 存 
最 大 打开 文件 数 做 默认 值 处 理 ( 称 之 为 


于 指 代 被 打开 的 文件 ， 所 有 执行 MO 操作 的 系统 调 






























































都 通过 文件 描述 符 。 程 序 
， 打 开 的 文件 太 多 就 会 提示 “Too many open files”， 出 现 这 句 提示 的 原因 是 程序 打开 的 文件 连接 数量 超过 系统 设 定 值 。 这 3 
但 是 在 实际 实现 过 程 中 内 核 会 做 相应 的 处 理 ， 一 般 最 大 打开 文件 数 会 是 系统 内 存 的 10% (以 KB 来 计算 ) 
sysctl-algrep fs.file-max 命 令 查看 。 与 此 同时 ， 内 核 为 了 不 让 某 一 个 进程 消耗 掉 所 有 的 文件 资源 ， 它 也 会 对 单个 进程 





























如 何 修改 文件 描述 符 限制 (也 称 之 文件 最 大 打开 数 ) 的 值 呢 ? 我 们 可 以 参考 下 面 的 步骤 。 


1) 修改 














户 级 站 


民 制 


在 /etc/security/limits.conf 文 件 里 添加 如 下 内 容 : 


* soft nofile 65535 
* hard nofile 65535 





刚刚 启动 的 时 候 ，0 是 标准 输入 ，1 是 标准 输出 ，2 是 标准 错误 。 如 果 此 时 去 打开 一 个 新 的 文件 ， 它 的 文件 描述 符 会 是 








EF 要 是 因 


为 文件 描 











( 称 之 








人 于 of 的 数值 应 该 是 小 于 或 等 于 hatd 值 ，soft 的 限制 不 能 比 hard 限 制 高 。 


2) 修改 系统 限制 可 以 把 fs.file-max=419430 添 加 到 /etc/sysctlconf 中 ， 使 









































sysctl-p 即 不 需要 重启 系统 也 可 生效 ,具体 步骤 如 下 所 示 : 














echo "fs.file-max=419430" >> /etc/sysctl.conf 


































































































sysctl -p 
户 级 限制 :ulimit 命 令 看 到 的 是 用 户 级 的 最 大 文件 描述 符 限制 ， 也 就 是 说 每 一 个 用 户 登录 后 执行 的 程序 占用 文件 描述 符 的 总 数 不 能 超过 这 个 限制 。 
系统 级 限制 : sysctl 命 令 和 proc 文 件 系 统 中 查看 到 的 数值 是 一 样 的 ， 这 属于 系统 级 限制 ， 它 是 限制 所 有 用 户 打开 文件 描述 符 的 总 和 。 
另外 ，ulimit-n 命 令 并 不 能 真正 看 到 文件 的 最 大 文件 打开 数 ， 可 用 如 下 脚本 查看 : 
#!/bin/bash 
for pid in ‘ps aux |grep nginx |grep -v greplawk '{print $2}'. 
dt 
SE /proc/${pid}/limits |grep 'Max open files' 
在 线 上 环境 找 一 台 CMS 业 务 机 器 执行 此 脚本 ， 显 示 结果 如 下 所 示 : 
Max open files 65535 65535 files 
Max open files 65535 85535 files 
Max open files 65535 65535 files 
Max open files 65535 65535 files 
Max open files 65535 85535 files 
Max open files 65535 65535 files 
Max open files 65535 65535 files 
Max open files 65535 65535 files 
Max open files 65535 85535 files 
Max open files 65535 85535 files 
9. 正 确 启动 网 卡 





大 家 配置 CentOS 6.8 的 网 卡 IP 地 址 时 ， 最 容易 忽略 的 一 项 就 是 CentOS 系 统 启动 时 未 启动 网 卡 ， 其 后 果 很 明显 ， 那 就 是 你 的 Linux 机 器 永远 没有 IP 地 址 。 下 面 是 一 台 线 上 环境 服务 器 网 卡 文 


件 /etc/sysconfig/network-scripts/ifcfg-eth0 文 件 的 配置 内 容 。 








DEVICE=eth0 
BOOTPROTO=static 

HWADDR=00:14:22:1B:71:20 
IPV6INIT=no 
IPV6 AUTOCONF=yes 


ONBOOT=yes 


NETMASK=255.255.255.192 
IPADDR=203.93.236.146 
GATEWAY=203.93.236.129 
TYPE=Ethernet 
PEERDNS=yes 
USERCTL=no 


-允许 从 DHCP 处 获得 的 DNS 覆盖 本 地 的 DNS 
一 不 允许 普通 用 户 修改 网 卡 


-此 项 一 定 要 记得 更 改 为 yes, 它 会 在 系统 引导 就 启动 你 的 网 卡 设备 





10. 关 闭 写 磁盘 I/O 功 能 


Linux 文 件 默 认 有 3 个 时 间 ， 如 下 所 示 : 
' atime: 对 此 文件 的 Access (访问 ) 时 间 。 
“ ctime: 此 文件 inode 发 生 Change (状态 变化 ) 的 时 间 。 


mtime: 此 文件 的 Modify (修改 ) 时 间 。 











我 们 可 以 用 stat 命 令 查看 文件 的 这 些 相关 时 间 ， 如 下 所 示 : 














stat instal1.1og 








命令 显示 结果 如 下 所 示 : 
File; "install.log" 
Size: 46503 Blocks: 104 IO Block: 4096 ”普通 文件 
Device: 802h/2050d Inode: 786434 Links: 1 
Access: (0644/-rw-r--r--) Uid: ( 626/ yucy) Gid: ( 626/ yucy) 


Access: 2015-09-08 19:02:49.838428672 +0800 
Modify: 2014-12-15 12:05:12.808264055 +0800 
Change: 2015-07-06 11:05:22.731778396 +0800 








如 果 有 多 个 小 文件 (比如 Web 服 务 器 的 页 面 上 有 多 个 小 图 片 ) ， 通 常 就 没有 必要 记录 文件 的 访问 时 间 了 ， 这 样 可 以 减少 写 磁盘 的 MO， 可 这 要 如 何 配置 呢 ? 











首先 ， 修 改 文件 系统 的 配置 文件 /etc/fstab， 然 后 ， 在 包含 大 量 小 文件 的 分 区 中 使 














noatime 和 nodiratime 这 两 个 命令 。 








例如 : 





/dev/sda5 /data/pics ext3 noatime,nodiratime 0 0 





这 样 文件 被 访问 时 就 不 会 再 产生 写 磁盘 的 |/O 了 。 


11. 修 改 SSH 登 录 配 置 




















SSH 服 务 配置 优化 ， 请 保持 机 器 中 至 少 有 一 个 具有 sudo 权 限 的 用 户 ， 下 面 的 配置 会 禁止 root 远 程 登录 ， 代 码 内 容 如 下 所 示 : 


























sed -i 's@#PermitRootLogin yes@PermitRootLogin no@' /etc/ssh/sshd config 
# 禁 止 root 远 程 登录 

sed -i 's@#PermitEmptyPasswords no@PermitEmptyPasswords no@' 
/etc/ssh/sshd_config # 禁 止 空 密码 登录 

sed -i 's@#UseDNS yes@UseDNS no@' /etc/ssh/sshd config 
/etc/ssh/sshqd_config # 关 闭 SSH 反 向 查询 ， 以 加 快 SSH 访 问 速度 








12. 增 加 具有 sudo 权 限 的 用 户 





























添加 用 户 的 步骤 和 过 程 比较 简便 (这 里 略 过 ) ， 由 于 系统 已 经 禁止 了 root 远 程 登录 ， 


员 


因此 需 








一 个 具有 sudo 权 限 的 admin 用 户 ， 权 限 跟 root 相 当 ， 这 里 用 visudo 命 令 ， 在 打开 的 文件 内 容 里 找到 如 下 内 





## Allow root to run any commands anywhere 
root ALL= (ALL) 工 





然后 添加 如 下 内 容 : 





yhc ALI=(ALL) ALL 





如 果 在 进行 sudo 切 换 时 不 想 输入 密码 ， 可 以 做 如 下 更 改 : 





yhc ALL= (ALL) NOPASSWD:ALL 





1.4.2 优化 Linux 下 的 内 核 TCP 参 数 以 提高 系统 性 能 


内 核 的 优化 跟 服 务 器 的 优化 一 样 ， 本 着 稳定 安全 的 原则 。 下 面 以 Squid 服 务 器 为 例 进行 说 明 ， 待 客户 端 与 服务 器 端 建立 TCP/IP 连 接 后 就 会 关闭 SOCKET， 服 务 器 端 连接 的 端口 状态 也 就 变 为 TIME_WAIT 
了 。 那 是 不 是 所 有 执行 主动 关闭 的 SOCKET 都 会 进入 TIME_WAIT 状 态 呢 ? 有 没有 什么 情况 使 主动 关闭 的 SOCKET 直 接 进 入 CLOSED 状 态 呢 ?答案 是 主动 关闭 的 一 方 在 发 送 最 后 一 个 ACK 后 就 会 进入 
TIME_WAIT 状 态 ， 并 停留 2MSL ( 报 文 最 大 生存 ) 时 间 ， 这 是 TCP/IP 必 不 可 少 的 ， 也 是 “解决 ”不 了 的 。 


TCP/IP 设 计 者 如 此 设计 ， 主 要 原因 有 两 个 : 























“ 防止 上 一 次 连接 中 的 包 迷 路 后 重新 出 现 ， 影 响 新 的 连接 (经 过 2MSL 时 间 后 ， 上 一 次 连接 中 所 有 重复 的 包 都 会 消失 ) 。 


:为 了 可 靠 地 关闭 TCP 连 接 。 主 动 关闭 方 发 送 的 最 后 一 个 ACK (FIN) 有 可 能 会 丢失 ， 如 果 丢 失 ， 被 动 方 会 重新 发 FIN， 这 时 如 果 主 动 方 处 于 CLOSED 状 态 ， 就 会 响应 RST 而 不 是 AC 多 。 所 以 主动 方 要 处 
于 TIME_WAIT 状 态 ， 而 不 能 是 CLOSED 状 态 。 另 外 ，TIME_WAIT 并 不 会 占用 很 大 的 资源 ， 除 非 受到 攻击 。 


在 squid 服 务 器 中 可 输入 查看 当前 连接 统计 数 的 命令 ， 如 下 所 示 : 





netstat -~n | awk '/^tcp/ {++S[$NF]} END{for(a in S) print a, S[a]}' 








命令 显示 结果 如 下 所 示 : 
LAST ACK 14 


SYN RECV 348 
ESTABLISHED 70 
FIN WAIT1 229 
FIN WAIT2 30 
CLOSING 33 


TIME WAIT 18122 





命令 中 的 含义 分 别 如 下 : 


:CLOSED: 无 连接 是 活动 的 或 正在 进行 中 。 


“LISTEN: 服务 器 在 等 待 进入 呼叫 。 


“SYN_RECV: 一 个 连接 请 求 已 经 到 达 ， 等 待 确认 。 


“ SYN_SENT: 应 用 已 经 开始 ， 打 开 一 个 连接 。 


* ESTABLISHED: 正常 数据 传输 状态 。 


* FIN_WAIT1: 应 用 说 它 已 经 完成 。 


“ FIN_WAIT2: 另 一 边 已 同意 释放 。 


ITMED_WAIT: 等 待 所 有 分 组 死 掉 。 


“CLOSING: 两 边 同 时 尝试 关闭 。 


"TIME_WAIT: 另 一 边 已 初始 化 一 个 释放 。 


“ LAST_ACK: 等 待 所 有 分 组 死 掉 。 





也 就 是 说 ， 这 条 命令 可 以 把 当前 系统 的 网 络 连接 状态 分 类 汇总 。 


在 Linux 下 高 并 发 的 Squid 服 务 器 中 ，TCP TIME_WAIT 套 接 字 数量 经 常 可 达 两 三 万 ， 服 务 器 很 容易 被 拖 死 。 不 过 ， 可 以 通过 修改 Linux 内 核 参 数 来 减少 Squid 服 务 器 的 TIME_WAIT 套 接 字数 量 ,命令 如 


下 : 





Vim /etc/sysctl.conf 





然后 ， 增 加 以 下 参数 : 





ipv4. 
ipv4. 
.tcp_ syncookies = 1 
‘tcp tw reuse = 1 

ipv4. 沽 
ipv4. 
ipv4. 
ipv4. 


ipv4 
ipv4 


tcp fin timeout = 30 
tcp_keepalive time = 1200 


tcp tw recycle = 1 

ip local port range = 10000 65000 
tcp max syn backlog = 8192 

tcp max tw buckets = 5000 





简单 说 明 上 面 参数 的 含义 : 





“ net.i 


“ net.i 


“ net.i 





V4.tcp_syncookies=1 表 示 开 启 SYN Cookies， 当 出 现 SYN 等 待 队列 溢出 时 ， 启 用 cookie 来 处 理 ， 可 防范 少量 的 SYN 攻 击 ， 默 认为 0， 表 示 关 闭 ; 

V4.tcp_tw_reuse=1 表 示 开 启 重用 ， 即 允许 将 TIME-WAIT sockets 重 新 用 于 新 的 TCP 连 接 ， 默 认为 0， 表 示 关 闭 ; 

V4.tcp_tw_recycle=1 表 示 开 启 TCP 连 接 中 TIME-WAIT sockets 的 快速 回收 ， 默 认为 0， 表 示 关 闭 ; 

V4.tcp_fin_timeout=30 表 示 如 果 套 接 字 由 本 端 要 求 关闭 ， 这 个 参数 决定 了 它 保持 在 FIN-WAIT-2 状 态 的 时 间 ; 

v4.tcp_keepalive_time=1200 表 示 当 keepalive 启 用 时 ，TCP 发 送 keepalive 消 息 的 频 度 默认 是 2 小 时 ， 政 为 20 分 钟 ; 

v4.ip_local_port_range=1000065000 表 示 CentOS 系 统 默 认 向 外 连接 的 端口 范围 。 默 认 值 很 小 ， 这 里 改 为 10000 到 65000。 建 议 这 里 不 要 将 最 低 值 设 得 太 低 ， 否 则 可 能 会 占用 正常 的 端口 。 


v4.tcp_max_syn_backlog=8192 表 示 SYN 队 列 的 长 度 ， 默 认为 1024， 加 大 队列 长 度 为 8192， 可 以 容纳 更 多 等 待 连接 的 网 络 连接 数 。 





V4.tcp_max_tw_buckets=5000 表 示 系统 同 时 保持 TIME_WAIT 套 接 字 的 最 大 数量 ， 如 果 超 过 这 个 数字 ，TIME_WAIT 套 接 字 将 立刻 被 清除 并 打印 警告 信息 ， 默 认为 180000， 改 为 5000。 对 于 Apache、 


Nginx 等 服务 器 ， 前 面 介绍 的 几 个 的 参数 已 经 可 以 很 好 地 减少 TIME_WAIT 套 接 字数 量 ， 但 对 于 Squid 来 说 效果 不 大 ， 有 了 此 参数 就 可 以 控制 TIME_WAIT 套 接 字 的 最 大 数量 ， 避 免 Squid 服 务 器 被 大 量 的 


TIME_WAIT 套 接 字 拖 死 。 


执行 以 下 命令 使 内 核 配置 立马 生效 : 





/sbin/sysctl -p 





如 果 是 




















于 Apache 或 Nginx 等 Web 服 务 器 ， 则 更 改 以 下 几 项 即 可 : 





net. 
net. 
net. 
nek. 


ipv4 
ipv4 
ipv4 
ipv4 


:tcp_syncookies=1 

‘tcp_tw_ reuse=1 

:tcp tw recycle = 1 

‘ip local port range = 10000 65000 





执行 以 下 命令 使 内 核 配 置 立 马 生 效 : 





/sbin/sysctl -p 





如 果 是 Postfix 邮 件 服务 器 ， 则 建议 内 核 优化 方案 如 下 : 





nat 
Tlek. 
net 
net 
net 


ipv4. 


ipv4 


.ipv4. 
.ipv4. 
.ipv4. 


tcp fin timeout = 30 

.tcp keepalive time = 300 
tcp tw reuse = 1 

tcp tw recycle = 1 

ip local port range = 10000 65000 


kernel .shmmax = 134217728 





执行 以 下 命令 使 内 核 配置 立马 生效 : 





/sbin/sysctl -p 


工作 要 求 ， 则 可 


ebas 
El 


要 定制 你 的 服务 器 内 核 或 升级 服务 器 硬件 。 


1.4.3 ”CentOS 6.8 x86_64 系 统 最 小 化 安装 优化 脚本 


这 些 都 只 是 最 基本 的 更 改 ， 大 家 还 可 以 根据 自己 的 需求 来 更 改 内 核 的 设置 ， 同 样 也 要 本 着 服务 器 稳定 为 最 高 原则 ， 如 果 服 务 器 不 稳定 的 话 ， 


一 切 工作 和 努力 都 是 白费 。 如 果 以 上 优化 仍 无 法 满足 





CentOS 6.8 x86_64 系 统 最 小 化 优化 脚本 ， 大 家 注意 ， 下 文中 有 中 文 注释 内 容 ， 如 果 是 放 在 线 上 运行 时 需要 格外 留意 ， 脚 本 内 容 如 下 所 示 : 





#!/bin/bash 
# 系 统 基础 升级 ,建议 以 root 执 行 


# 必 须 使 用 root 才 全 同 本 

if [ $USER != "root" ]; 七 
echo "需要 使 用 sudo 者 
exit 1 


四 加 用 林 辐 本 
合 


cd /usr/local/src 

wget http://mirrors.163.cor/ .helP/Cent0S6-Base-163.repo 
cd /etc/yum.repos.d/ 

mv CentOS-Base.repo CentOS-Base.repo.bak 
cp /usr/1local/src/CentOS6-Base-163.repo 
yum clean all # 清 除 yum 缓 存 

yum makecache # 重 建 缓存 

yum update -y # 升 级 Linux 系 统 


./CentOS-Base.repo 





cd http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../ 


4 加 epe1 外 部 yumd 展 浙 

cd /usr/local/src 

wget http://dl.fedoraproject.org/pub/epel/6/x86_ 64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm 

# 安 装 gcc 基 础 库 文件 以 及 sysstat 工 具 

yum -Y install gcc gcc-c++ vim-enhanced unzip unrar sysstat 

# 配 置 ntpdate 自 动 对 时 

yum -~y install ntp 

echo "01 01 * * * /usr/sbin/ntpdate ntp.api.bz 
/usr/sbin/ntpdate ntp.api.bz 

service crond restart 


# 配 置 文 件 的 ulimit 值 

ulimit -SHn 65534 

echo “ulimit -SHn 65534" >> /etc/rc.local 
Sat >> /etc/security/limits.conf << EOF 


soft nofile 65535 
hard nofile 65535 
EOF 
echo "fs.file-max=419430" >> /etc/sysctl.conf 
# 基 础 系统 内 核 优化 
cat >> /etc/sysctl.conf << EOF 


net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 
net .ipv4. 


tcp_syncookies = 1 
tcp_syn retries = 1 
tcp tw recycle 
tcp tw reuse = 1 
tcp, fin timeout = 
tcp | keepalive time = 
ip local port range 
tcp max_syn backlog 
tcp max tw buckets 
route.gc 1 timeout = 
net.ipv4.tcp syn retries = 1 
net .ipv4.tcp synack retries =1 
net .core.somaxconn = 16384 

net .core.netdev max backlog = 16384 
net .ipv4.tcp max orphans = 16384 





L 


1200 
10000 65535 
16384 

36000 

100 


EOF 
/sbin/sysctl -p 


# 禁 用 control-alt-delete 组 合 键 以 防止 误 操作 


>> /dev/null 2>&1" >> /etc/crontab 


sed -i 's@ca::ctrlaltdel:/sbin/shutdown -t3 -r now@#ca::ctrlaltdel:/sbin/shutdown -t3 -r now@' /etc/inittab 
# 关 闭 SElinux 

sed -i 's@SELINUX=enforcing@SELINUX=disabled@' /etc/selinux/config 

# 关 闭 iptables 


service iptables stop 

chkconfig iptables off 

#ssh 服 务 杞 置 优 化 ， 请 保持 机 器 中 至 少 有 一 个 具有 sudo 权 限 的 用 户 ， 下 面 的 配置 会 禁止 root 远 程 登 录 

sed -i tt EL OD yes@PermitRootLogin no@' /etc/ssh/sshd | config 

# 禁 止 空 密码 登 

2 wal 
禁止 SSH 反 向 解析 

2 -i 's@#UseDNS yeseUseDNS no@' /etc/ssh/sshd config /etc/ssh/sshd config 

service sshd restart 机 轩 

# 禁 用 ipv6 地 址 ,根据 实际 需求 设置 ， 如 果 需 要 安装 lvs 服 务 的 机 器 ， 建 议 保留 此 选项 

echo "install ipv6 /bin/true" > /etc/modprobe.d/disable-il Sh conf 

# 每 当 系统 需要 加 载 TPv6 模 块 时 ， 强 制 执行 /bin/true 来 代 葵 实际 加 载 的 模 

echo "IPV6INIT=no" >> /etc/s i 

# 禁 用 基于 IPv6 网 络 ， 使 之 不 会 被 触发 启动 

chkconfig ip6tables off 

Pr 

Cat >> /root/.vimrc << EOF 

set number 

set ruler 

set nohlsearch 

set shiftwidth=2 

set tabstop=4 

set expandtab 

set cindent 

set autoindent 

Set mouse=V 

syntax on 

EOF 

# 精 简 玫 





1 SG#Permi tnptyPasswords no@PermitEmptyPasswords no@' /etc/ssh/sshd config 


fF 机 自 启动 服务 ， 安 装 最 小 化 服务 的 机 器 初始 可 以 只 留 crond|network|rsyslog|sshd 这 四 个 服务 


for i in ‘chkconfig --list|grep 3:onlawk '{print $1}'‘;do chkconfig --level 3 $i off;done 


for CURSRV 
# 重 启 服务 器 


reboot 





in crond rsyslog sshd network;do chkconfig --level 3 $CURSRV on;done 





1.4.4 ”Linux 下 CPU 使 用 率 与 机 器 负载 的 关系 与 区 别 


笔者 曾 接触 一 个 案例 : 线 上 的 bidder 业 务 机 器 ， 在 业务 最 繁忙 的 一 段 周期 内 ， 发 现 Nginy 生 


机 并 发 活动 连接 数 超过 2.8 万 ， 机 器 负载 UPTIME 值 (基本 上 不 到 4， 报 警 系统 没有 发 送 报警 邮件 和 短信 ) 。 



































Nginx+Lua 服 务 都 是 正常 的 ， 网 卡 流量 并 没有 打 满 ， 但 流量 就 是 
尽 导致 不 能 继续 提供 服务 。 所 以 这 里 也 研究 下 CPU 负载 和 CPU 利 


怎么 也 打 不 进去 。 经 过 
率 这 两 个 概念 的 关系 与 

















深入 观察 ， 发 现 这 段 时 期 内 每 台 机 器 CPU 的 利用 率 都 已 经 很 高 了 ， 基 本 维持 在 99% 左 右 ， 


这 种 情况 应 该 是 CPU 资源 耗 





区 别 。 





















































CPU 负载 和 CPU 利用 率 虽 然 是 不 同 的 两 个 概念 ， 但 它们 的 信息 可 以 在 同一 个 top 命 令 中 显示 。CPU 利 用 率 显 示 的 是 程序 在 运行 期 间 实时 占用 的 CPU 百分比 ， 而 CPU 负载 显示 的 是 一 段 时 间 内 正在 使 用 和 
售 待 使 用 CPU 的 平均 任务 数 。CPU 利 用 率 高 ， 并 不 意味 着 负载 就 一 定 大 。 
























































网 上 有 篇 文章 给 出 了 一 个 有 趣 的 比喻 ， 即 通过 打 电 话 来 说 明 两 者 的 区 别 ， 下 面 笔者 按 自己 的 理解 阐述 一 下 。 





























某 公用 电话 亭 ， 有 一 个 人 在 打 电 话 ， 四 个 人 在 等 待 ， 每 人 限定 使 用 电话 一 分 钟 ， 若 有 人 一 分 钟 之 内 没有 打 完 电话 ， 只 能 挂 掉 电话 去 排队 等 待 下 一 轮 。 电 话 在 这 里 就 相当 于 CPU， 而 正在 或 等 待 打 电 话 的 
人 就 相当 于 任务 数 。 












































在 电话 亭 使 用 过 程 中 ， 肯 定 会 有 人 打 完 电话 走 掉 ， 有 人 没有 打 完 电话 而 选择 重新 排队 ， 更 会 有 新 增 的 人 在 这 儿 排 队 ， 这 个 人 数 的 变化 就 相当 于 任务 数 的 增 减 。 为 了 统计 平均 负载 情况 ， 我 们 5 秒 钟 统计 一 
次 人 数 ， 并 在 第 1、5、15 分 钟 的 时 候 对 统计 情况 取 平 均值 ， 从 而 形成 第 1[、5、15 分 钟 的 平均 负载 。 有 的 人 拿 起 电话 就 打 ， 一 直 打 完 1 分 钟 ， 而 有 的 人 可 能 前 三 十 秒 在 找 电话 号 码 ， 或 者 犹 隐 要 不 要 打 ， 后 三 
十 秒 才 真 正在 打 电 话 。 如 果 把 电话 看 作 CPU， 人 数 看 作 任务 ， 我 们 就 说 前 一 个 人 任务) 的 CPU 利用 率 高 ， 后 一 个 人 (任务 ) 的 CPU 利用 率 低 。 























































































































当然 ，CPU 并 不 会 在 前 三 十 秒 工作 ， 后 三 十 秒 软 着 ， 只 是 说 ， 有 的 程序 涉及 大 量 的 计算 ， 所 以 CPU 利 用 率 就 高 ， 而 有 的 程序 牵涉 计算 的 部 分 很 少 ，CPU 利 用 率 自然 就 低 。 但 无 论 CPU 的 利用 率 是 高 是 
低 ， 跟 后 面 有 多 少 任务 在 排队 都 没有 必然 关系 。 





CPU 负载 为 多 少 才 算 比 较 理想 呢 ? 对 此 一 直 存 在 争议 ， 各 有 各 的 说 法 ， 个 人 比较 赞同 CPU 负载 小 于 等 于 0.5 算 是 一 种 理想 状态 。 






































不 管 某 个 CPU 的 性 能 有 多 好 ，1 秘 能 处 理 多 少 任务 ， 我 们 可 以 认为 它 无 关 紧 要 ， 虽 然 事实 并 非 如 此 。 在 评估 CPU 负载 时 ， 我 们 只 以 5 秒 为 单位 来 统计 任务 队列 长 度 。 如 果 每 隔 5 秒 钟 统计 的 时 候 ， 发 现任 
务 队列 长 度 都 是 1， 那 么 CPU 负载 就 为 1。 假 如 我 们 只 有 一 个 单 核 的 CPU， 负 载 一 直 为 1， 意 味 着 没有 任务 在 排队 ， 这 种 情况 还 不 错 。 还 是 以 上 面 提 到 的 bidder 业 务 机 器 为 例 ， 都 是 四 核 机 器 ， 每 个 内 核 的 负 
载 为 1 的 话 ， 总 负载 则 为 4。 也 就 是 说 ， 如 果 那 些 bidder 服 务 器 的 CPU 负载 长 期 保持 在 4 左右 ， 还 是 可 以 接受 的 。 



























































CPU 使 用 率 到 多 少 才 算 比 较 理想 呢 ? 














笔者 这 里 建议 大 家 统计 96user+9%system 的 值 ， 如 果 长 期 大 于 85% 的 话 ， 就 可 以 认为 系统 的 CPU 过 重 ， 这 个 时 候 可 以 考虑 添加 物理 CPU 或 增添 业务 集群 机 器 了 。 比 较 偷懒 的 做 法 是 统计 CPU 的 %idle ( 空 
闲 ) 值 ， 如 果 过 小 的 话 正 好 从 侧面 说 明 系 统 CPU 利 用 率 过 高 了 。 
































附 上 其 统计 CPU 使 用 率 的 Shell 脚 本 ， 如 下 所 示 : 














#!/bin/bash 

# Nagios return codes 
STATE_OK=0 
STATE_WRRNING=1 
STATE CRITICAL=2 
STATE _UNKNONN=3 


# Plugin Parameters value if not define 
LIST WARNING THRESHOLD="70" 

LIST CRITICAT THRESHOLD="80" 

INTERVAL SEC=T 


NUM REPORT=1 
CPU_REPORT= `iostat -C $INTERVAL SEC SNUM REPORT | sed -e 's/,/./g' | tr -s '' ';' | sed '/*$/d' ltail -1 
CPU_ REPORT SECTIONS= "echo $S{CPU ] REPORT} T ep 0 -0 | we -1 


CPU USER=“echo $CPU REPORT | cut -d " 
#CPU NICE=“echo $CPU REPORT | cut -d 本 
CPU_SYSTEM= echo $CPU REPORT | cut -d "im -f 4 





# Rdd for integer shell issue 

CPU USER MAJOR=“echo $CPU USER | cut -d "." -f 1 
CPU_SYSTEM MAJOR=“echo SCEU SYSTEM | cut -d "." -f 1 
#CPU IOWAIT MAJOR=“echo $CPU IOWAIT | cut -da "." £1 
#CPU_IDLE MAJOR=“echo $CPU IEIE | cut -d "." -f 1 


#CPU VMSTAT R="vmstat 1 4 | sed -n '3,$'p | awk 'BEGINE{SUM=0} {SUM += $1} END {print SUM/4}"' 
CPU UTILIT COU= `echo ${CPU USER} + ${CPU : SYSTEM} |bc~ 


CPU UTILI _COUNTER=、 echo $CPU | UTILI_COU Teut-d"." -f 1 
# Return 

if [ ${CPU UTILT COUNTER} -lt ${LIST WARNING THRESHOLD} ] 
then 


echo "OK - CPUCOU=${CPU UTILI COU}%® | CPUCOU=${CPU_UTILI COU}S;80;90" 

exit ${STATE OK} 加 
RY 
if [ ${CPU UTILI COUNTER} -gt ${LIST WARNING THRESHOLD} -a ${CPU UTILT COUNTER} -lt ${LIST CRITICAL THRESHOLD} ] 
then 

echo "Warning - CPUCOU=${CPU UTILT COUNTER}® | CPUCOU=${CPU UTILI COUNTER}%;80;90" 

exit ${STATE WARNING} = 


fi 

if [ ${CPU UTILT COUNTER} -gt ${LIST CRITICAL THRESHOLD} ] 

then 
echo "Critical - CPUCOU=${CPU UTILT COUNTER}%S | CPUCOU=${CPU UTILTI COUNTER} %;80;90" 
exit ${STATE CRITICAL} 

i 





1.5 ”服务 器 调 优 实际 案例 








下 面 笔者 用 自己 的 经 历 以 及 工作 的 业务 平台 跟 大 家 说 明 真 实 工作 场景 下 服务 器 的 实际 调 优 案 例 。 






























































笔者 的 海外 DSP 业 务 群 机 器 采用 的 是 AWS 云 计算 平台 ， 基 于 业务 的 复杂 性 ， 所 以 系统 基本 属于 高 并 发 高 负载 运行 。 为 了 系统 的 稳定 ， 机 器 上 线 之 前 暂时 做 了 一 些 基础 的 系统 内 核 优 化 ， 并 且 在 CPU 和 内 
存 硬件 方面 做 了 提升 加 强 ， 基 础 的 内 核 优化 配置 文件 如 下 所 示 : 

















# Kernel sysct1 configuration file for Red Hat Linux 

# For binary values, 0 is disabled, 1 is enabled. See sysct1(8) and 
# sysctl.conf (5) for more details. 

# Controls IP packet forwarding 

net.ipv4.ip forward = 0 


# Controls source route verification 
net.ipv4.conf.default.rp filter = 1 


# Do not accept source routing 
net .ipv4.conf.default.accept_ source route = 0 


# Controls the System Request debugging functionality of the kernel 
kernel.sysrqg = 0 


# Controls whether core dumps will append the PID to the core filename. 
# Useful for debugging multi-threaded applications. 
kernel.core uses pid = 1 


# Controls the use of TCP oe 
net .ipv4.tcp syncookies = 
net .ipv4.tcp max_syn 1 i = 4096 


net .core.somaxconn = 2048 


net .ipv4.tcp_timestamps 
net .ipv4.tcp tw recycle 


3 
二 


# Disable netfilter on bridges. 

net .bridge.bridge-nf-call-ip6tables = 0 
net .bridge.bridge-nf-call-iptables = 0 
net .bridge.bridge-nf-call-arptables = 0 


# Controls the default maxmimum size of a mesage queue 
kernel .msgmnb = 65536 


# Controls the maximum size of a message, in bytes 
kernel .msgmax = 65536 


# Controls the maximum shared segment size, in bytes 
kernel.shmmax = 68719476736 


# Controls the maximum number of shared memory segments, in pages 
kernel.shmall = 4294967296 








但 系统 上 线 后 流量 又 增 ， 经 常会 出 现 “TCP:too many orphaned sockets” 的 情况 ， 具 体 表现 为 系统 日 志 用 dmesg 排 错时 ， 发 现 大 量 的 “TCP:too many orpharned sockets” 信 息 ， 如 下 所 示 : 





13257987.555864 
13257987.559244 
13257987.562524 


] TCP: too many orphaned sockets 
] TCP: too many orphaned sockets 
] TCP: too many orphaned sockets 
13257988.576104] TCP: too many orphaned sockets 
13257988.576117] TCP: too many orphaned sockets 
13257988.576119] TCP: too many orphaned sockets 
13257988.576122] TCP: too many orphaned sockets 
13257989.088095] TCP: too many orphaned sockets 
13257989.090621] TCP: too many orphaned sockets 
13257989.600115] TCP: too many orphaned sockets 





所 以 需要 对 系统 内 核 做 些 优化 调整 以 应 对 更 大 并 发 流量 的 冲击 ， 修 改 其 内 核 文件 并 增加 内 容 ， 如 下 所 示 : 


net.ipv4.tcp rmem = 4096 4096 16777216 
net .ipv4.tcp wmem = 4096 4096 16777216 
net.ipv4.tcp mem = 786432 2097152 3145728 
net .ipv4.tcp max orphans = 131072 








执行 以 下 命令 使 内 核 配 置 立 即 生 效 : 





/sbin/sysctl -p 








要 看 这 几 项 : 


“ net.ipv4.tcp_rmem: 用 来 配置 读 缓冲 的 大 小 ， 三 个 值 ， 第 一 个 是 这 个 读 缓冲 的 最 小 值 ， 第 三 个 是 最 大 值 ， 中 间 的 是 默认 值 。 我 们 可 以 在 程序 中 修改 读 缓冲 的 大 小 ， 但 是 不 能 超过 最 小 值 与 最 大 值 。 为 了 


使 每 个 socket 所 使 用 的 内 存 数 最 小 ， 笔 者 此 处 设置 的 默认 值 为 4096。 


“ net.ipv4.tcp_wmem: 用 来 配置 写 缓 冲 的 大 小 。 读 缓冲 与 写 缓冲 的 大 小 直接 影响 到 socket 在 内 核 中 内 存 的 占用 。 


“ net.ipv4.tcp_mem: 配置 TCP 的 内 存 大 小 ， 其 单位 是 页 ， 而 不 是 字 节 。 当 超过 第 二 个 值 时 ，TCP 进 入 pressure 模 式 ， 此 时 TCP 尝 试 稳定 其 内 存 的 使 用 ， 当 小 于 第 一 个 值 时 ， 就 退出 pressure 模 式 。 当 内 存 占 
用 超过 第 三 个 值 时 ，TCP 就 拒绝 分 配 socket 了， 使 用 dmesg 命 令 查看 ， 会 打出 很 多 的 日 志 “TCP:too many of orphaned sockets” 。 








“ net.ipv4.tcp_max_orphans: 这 个 值 也 要 设置 一 下 ， 表 示 系 统 所 能 处 理 不 属于 任何 进程 的 socket 数 量 ， 当 我 们 需要 快速 建立 大 量 连接 时 需要 关注 这 个 值 。 当 不 属于 任何 进程 的 socket 的 数量 大 于 这 个 值 时 ， 


使 用 dmesg 命 令 会 看 到 “TCP: too many of orphaned sockets” 。 


1.6 小 结 


本 章 介绍 了 系统 架构 设计 的 相关 专业 术语 ， 以 及 关于 IDC 机 房 物 理 服务 器 和 AWC EC2 类 型 实例 的 选择 ， 还 介绍 了 CentOS 6.8 x86_64 系 统 的 最 小 化 安装 后 的 优化 ， 最 后 笔者 跟 大 家 分 享 了 实际 工作 平台 
上 真实 案例 系统 的 优化 。 这 些 工作 都 是 系统 架构 设计 的 基础 ， 希 望 大 家 能 够 掌握 此 章 内 容 ， 这 对 于 我 们 今后 的 工作 会 有 很 大 的 帮助 。 


第 2 章 Shell 脚本 在 生产 环境 下 的 应 用 











在 笔者 目前 工作 的 CDN 平 台中 ，Shell 脚 本 正 发 挥 着 巨大 的 作用 ， 无 论 是 在 应 上 




















运 维 部 、 运 维 开发 部 还 是 大 数据 平台 组 内 部 的 gitlab 中 ，Shell 脚 本 的 代码 比重 都 很 高 。Shell 除 了 最 常规 的 Cron 备 份 作 














以 外 ， 还 有 处 理 业务 逻辑 、 日 志 切 分 上 传 、 系 统 性 能 和 状态 监控 及 系统 初始 化 等 作 






























































。 相 比较 C 或 C++ 语言 ， 它 能 够 更 快捷 地 解决 相同 的 问题 。 在 CDN 的 各 个 子平 台中 ，Shell 也 能 起 到 耦合 的 作 















































。 此 外 ，Shell 脚 本 具有 很 好 的 可 移植 性 ， 有 时 跨越 UNIX 与 POSIX 兼 容 的 系统 仅 需 略 做 修改 ， 甚 至 不 必修 改 就 可 直接 使 
， 成 为 我 们 运 维 开 发 人 员 的 瑞士 军刀 。 所 以 不 论 是 系统 管理 员 ， 还 是 运 维 开发 人 员 ， 掌 握 


Shell 脚 本 语言 能 对 我 们 的 工作 起 到 很 大 的 帮助 作用 。 另 外 ， 考 虑 到 本 书 的 读者 群体 ， 这 里 没有 介绍 Shell 的 基础 命令 和 VIM 的 基本 操作 ， 这 些 基础 大 家 可 以 参考 网 上 的 资料 。 











2.1 _ Shell 编程 基础 


Shell 是 核心 程序 Kernel 之 外 的 命令 解析 器 ， 是 一 个 程序 ， 也 是 一 种 命令 语言 和 程序 设计 语言 。 








作为 一 种 命令 语言 ， 它 可 以 交互 式 解析 用 户 输入 的 命令 。 














作为 一 种 程序 设计 语言 ， 它 定义 了 各 种 参数 ， 并 且 提 供 了 高 级 语言 才 有 的 程序 控制 结构 ， 虽 然 它 不 是 Linux 核 心 系统 的 一 部 分 ， 但 是 它 调 用 了 Linux 核 心 的 大 部 分 功能 来 执行 程序 建立 文件 ， 并 且 通 过 并 


行 的 方式 来 协调 程序 的 运行 。 














比如 输入 ls 命令 后 ，Shell 会 解析 ls 这 个 字符 并 向 内 核发 出 请 求 ， 内 核 执 行 这 个 命令 之 后 把 结果 告诉 Shell，Shell 则 会 把 结果 输出 到 屏幕 。 


Shell 相 当 于 是 Windows 系 统 下 的 command.com， 在 Windows 中 只 有 一 个 这 样 的 解析 器 ， 但 在 Linux 中 有 多 个 ， 如 sh、bash、ksh 等 。 
可 以 通过 echo$SHELL 查 看 自己 运行 的 Shell。 在 Shell 中 还 可 以 运 


a 


行 子 shell, 























直接 输入 csh 命 令 以 后 就 可 以 进入 csh 界 面 了 。 
Linux 默 认 的 Shell 是 pash， 下 面 的 内 容 基 本 以 此 为 主 (另外 系统 环境 为 CentOS 6.8 x86 64) 。 








2.1.1 _ Shell 脚本 基本 元 素 


Shell 脚 本 的 第 一 行 通常 为 如 下 内 容 : 


#!/bin/bash // 第 一 行 
# // 表 示 单 行 注释 





如 果 是 多 行 注释 应 该 如 何 操作 呢 ?” 如 下 所 示 : 


:<<BLOCK 
中 间 部 分 为 要 省 略 的 内 容 
BLOCK 














Shell 脚 本 的 第 一 行 均 包含 一 个 以 #! 为 起 始 标志 的 文本 行 ， 这 个 特殊 的 起 始 标志 表示 当前 文件 包含 一 组 命令 ， 需 要 提交 给 指定 的 Shell 解 释 执 行 。 紧 随 #! 标志 的 是 一 个 路 径 名 ， 指 向 执行 当前 Shell 脚 本 
文件 的 命令 解释 程序 。 如 : 

#!/bin/bash 

再 比如 : 

#1/usr/bin/ruby 








如 果 Shell 脚 本 中 包含 多 个 特殊 的 标志 行 ， 那 么 只 有 一 个 标志 行 会 起 作 | 























2.1.2 Shell 基础 正则 表达 式 


正则 表达 式 是 对 字符 串 操作 的 一 种 逻辑 公式 ， 就 是 
些 特殊 语法 表示 字符 类 、 数 量 限定 符 和 位 置 关系 ， 然 后 

















先 定义 好 的 一 些 特定 字符 及 这 些 特定 字符 的 组 合 ， 组 成 一 个 “规则 字符 


”， 这 个 “规则 字符 串 ” 用 来 表达 对 字符 串 的 一 种 过 滤 逻 辑 。 并 规定 一 
这 些 特殊 语法 和 普通 字符 一 起 表示 一 个 模式 ， 这 就 是 正则 表达 式 (Regular Expression) 。 
有 ， 我 们 可 以 达到 如 下 目的 : 













































































给 定 一 个 正则 表达 式 和 另 一 个 字符 











“ 给 定 的 字符 串 是 否 符合 正则 表达 式 的 过 滤 逻 辑 ( 称 作 “匹配 ”) ; 


“ 可 以 通过 正则 表达 式 ， 从 字符 串 中 获取 我 们 想 要 的 特定 部 分 





现 对 基础 元 字符 及 其 在 正则 表达 式 上 下 文中 的 行为 进行 整理 ， 如 表 2-1 所 示 


人 各 元 特殊 说 明 ， 下 面 的 系统 环境 均 为 CentOS 6.8 x86_64。 


表 2-1 基础 元 字符 及 其 在 正则 表达 式 上 下 文中 的 行为 


基础 元 字符 


说 明 

将 下 一 个 字符 标记 为 一 个 特殊 字符 、 或 一 个 原 义 字符 、 或 一 个 后 向 引用 、 或 一 个 八进制 转 义 符 。 
例如 ,“\Nn” 匹 配 ms“m” 匹 配 换行 符 。 序 列 “N” 匹 配 “\, “NM” 匹 配 “(”。 即 相当 于 多 种 编 
程 语言 中 都 有 的 “ 转 义 字符 ”的 概念 

匹配 输入 字符 串 的 开始 位 置 。 如 果 设 置 了 RegExp 对 象 的 Multiline 属性 , ^ 也 匹配 “\n” 或 “\r” 
之 后 的 位 置 

匹配 输入 字符 串 的 结束 人 位置。 如果 设置 了 RegExp 对 象 的 Multiline 属性 , $ 也 匹配 “\n” 或 “\r” 
之 前 的 位 置 

匹配 前 面 的 子 表达 式 任 意 次 。 例 如 ，zo* 能 匹配 “z”,“zo” 以 及 “zoo”。* 等 价 于 {0,} 


匹配 前 面 的 子 表 达 式 一 次 或 多 次 (大 于 等 于 1 次 )。 例如,“zo+” 能 匹配 “zo” 以 及 “zoo”, 但 
不 能 匹配 “z”。+ 等 价 于 {1,} 


匹配 前 面 的 子 表 达 式 零 次 或 一 次 。 例 如 ,，“ do(es)?” 可 以 匹配 “do” 或 “does” 中 的 “do”。? 
等 价 于 {0,1} 


n 是 一 个 非 负 整数 。 匹 配 确 定 的 n 次。 例如 ,“o{2}” 不 能 匹配 “Bob” 中 的 “o”, 但 是 能 匹配 
“food” 中 的 两 个 o 


n 是 一 个 非 负 整数 ， 至 少 匹 配 n 次 。 例 如 ,“o{2,}” 不 能 匹配 “Bob” 中 的 “o”, 但 能 匹配 
“foooood” 中 的 所 有 0。“ of{1,} ”等 价 于 “ot+”。“0{0,}” 则 等 价 于 “o*” 


n 和 m 均 为 非 负 整数 ， 其 中 小 于 或 等 于 m。 最 少 匹 配 n 次 且 最 多 匹配 m 次 。 例 如 ,“o{1,3}” 将 
匹配 “fooooood” 中 的 前 三 个 o。“o{0,1} ”等 价 于 “0o?”。 请 注意 在 逗号 和 两 个 数 之 间 不 能 有 空格 


当 该 字符 紧 跟 在 任何 一 个 其 他 限制 符 (*,+,?，{n}，{fn,}，{n,m} ) 后 面 时 ， 匹 配 模式 是 非 贪 焚 的 。 
韭 贪 殖 模式 会 尽 可 能 少 地 匹配 所 搜索 的 字符 串 ， 而 默认 的 贪 禁 模式 则 会 尽 可 能 多 地 匹配 所 搜索 的 
字符 串 。 例 如 ， 对 于 字符 串 “oooo”,“o+?” 将 匹配 单个 “o”， 而 “o+” 将 匹配 所 有 “o” 


匹配 除 “ \rn ”之 外 的 任何 单个 字符 。 要 匹配 包括 “\rn ”在 内 的 任何 字符 ,请 使 用 像 “[\s\S]” 
的 模式 


将 正则 表达 式 的 一 部 分 括 起 来 组 成 一 个 单元 ， 可 以 对 整个 单元 使 用 数量 限定 符 


匹配 x 或 y。 例如, “zlfood” 能 匹配 “z” 或 “food” 或 "zood" (此 处 请 着 慎 )。*“ (zlfjood” 则 
匹配 “zood” 或 “food” 


字符 集合 ， 匹 配 所 包含 的 任意 一 个 字符 。 例 如 ,“[abc]” 可 以 匹配 “plain ”中 的 “a” 

负 值 字符 集合 。 匹 配 未 包含 的 任意 字符 例如 ,“[^abc] ”可 以 匹配 “plain” 中 的 “plin” 

字符 范围 。 匹 配 指 定 范围 内 的 任意 字符 。 例 如 ,，“ [a-z] ”可 以 匹配 “a” 到 “z” 范 围 内 的 任意 
小 写字 母 字符 


负 值 字符 范围 。 匹 配 任何 不 在 指定 范围 内 的 任意 字符 。 例 如 ,“ [^a-z]” 可 以 匹配 任何 不 在 “a” 
到 “z” 范 围 内 的 任意 字符 


匹配 一 个 单词 边界 ， 也 就 是 指 单 词 和 空格 间 的 位 置 (正则 表达 式 的 “匹配 ”有 两 种 概念 ， 一 种 是 
匹配 字符 ， 男 一 种 是 匹配 位 置 ， 这 里 的 \b 是 匹配 位 置 的 )。 例 如 ,“erb” 可 以 匹配 “never” 中 的 
“er”， 但 不 能 匹配 “verb” 中 的 “er” 


匹配 非 单 词 边界 .“erB ”能 匹配 “verb ”中 的 “er”， 但 不 能 匹配 “never” 中 的 “er” 
匹配 一 个 数字 字符 。 等 价 于 [0-9] 

匹配 一 个 非 数字 字符 。 等 价 于 [^0-9] 

匹配 一 个 换 页 符 。 等 价 于 \x0c 和 \cL 

匹配 一 个 换行 符 。 等 价 于 \x0a 和 \cJ 


基础 元 字符 说 明 
匹配 一 个 回 车 符 。 等 价 于 \x0d 和 \cM 
\S 匹配 任何 不 可 见 字 符 ， 包 括 空格 、 制 表 符 、 换 页 符 等 。 等 价 于 [ \fn\nt\v] 
\S 匹配 任何 可 见 字符 。 等 价 于 [^\fnwvtvv] 
Mt 匹配 一 个 制 表 符 
W 匹配 一 个 垂直 制 表 符 
\w 匹配 包括 下 划 线 的 任何 单词 字符 。 类 似 但 不 等 价 于 “[A-Za-z0-9_]” 
\W 匹配 任何 非 单词 字符 。 等 价 于 “[^A-Za-z0-9_]” 


将 两 个 匹配 条 件 进 行 逻辑 “或 ”运算 。 例 如 正则 表达 式 (him|her) 匹配 "it belongs to him" 和 "it 
belongs to her", 但 是 不 能 匹配 "it belongs to them" 


匹配 1 或 多 个 正好 在 它 之 前 的 字符 。 例 如 正则 表达 式 9+ 匹配 9、99、999 等 。? 匹配 0 或 1 个 正 
好 在 它 之 前 的 字符 

将 部 分 内 容 合成 一 个 单元 组 。 例 如 ， 要 搜索 glad 或 good， 可 以 采用 'g(laloo)d' 这 种 方式 。() 的 
好 处 是 可 以 对 小 组 使 用 +、?、* 等 

田 在 bash 中 * 代 表 通 配 符 ， 用 来 表示 任意 个 字符 ， 但 在 正则 表达 式 中 其 含义 不 同 ，* 表 示 0 个 或 多 个 字符 ， 请 注意 区 分 。 

@@ 只 有 连 字 符 在 字符 组 内 部 并 出 现在 两 个 字符 之 间 时 ， 才 能 表示 字符 的 范围 ; 如 果 出 字符 组 的 开头 ， 则 只 能 表示 连 字 符 本 身 。 


再 例如 ， 可 以 使 用 〈[0-91{1，3N.) {3}[0-9]{1，3} 来 匹配 IP 地 址 。 





echo "192.168.1.1" | grep -BE --color "([0-9] {1,3}\.)1{3}[0-9] {1,3}" 





2.1.3 ” Shell 特殊 字符 








Shell 特 殊 字符 及 其 作用 ， 如 表 2-2 所 示 。 














表 2-2 Shell 特殊 字符 及 其 作用 


名 称 字符 实际 作用 
ee | 用 来 使 shell 无 法 认 出 除 字符 $、`、\ 外 的 任何 字符 或 字符 帅 ， 也 称 之 为 
弱 引 用 
单 引号 |  ' | 用 来 使 shell 无 法 认 出 所 有 特殊 字符 , 也 称 之 为 强 引 用 
反 引 号 |  、 | 用 来 特 换 命令 , 将 当前 命令 优先 执行 
分 号 | ;| 允许 在 一 行 上 放 多 个 命令 
| & | 命令 后 台 执行 ,建议 带 上 nohup 
大 括号 1 1 创建 命令 块 
字符 集合 <>& 重 定向 
字符 集合 表示 模式 匹配 
变量 名 的 开头 


表示 注释 (第 一 行 除 外 ) 


并 
~ 

一 

王 


2.1.4 ”变量 和 运算 符 





变量 是 放置 在 内 存 中 的 一 定 的 存储 单元 ， 这 个 存储 单元 里 存放 的 是 这 个 单元 的 值 ， 这 个 值 是 可 以 改变 的 ， 我 们 称 之 为 变量 。 























其 中 ， 本 地 变量 是 在 用 户 现 有 的 Shell 生 命 周期 的 脚本 中 使 用 的 ， 用 户 退 出 后 变量 就 不 存在 了 ， 该 变量 只 用 于 该 用 户 。 









































下 面 都 是 跟 变量 相关 的 命令 ， 这 里 只 是 大 致 说 明 下 ， 会 在 后 面 的 内 容 中 详细 说 明 ， 如 下 所 示 : 





变量 名 =" 变 量 " 
readonly 变量 名 =" 变 量 " 设置 该 
echo $ 变 量 名 


站 


量 为 只 读 变 量 ， 则 这 个 变量 不 能 被 改变 。 


EE 
员 
8 
点 六 
Ea 
§ 
,TK 
本 
过 并 
器 


ny 显示 当前 shell 下 有 哪些 只 读 变量 









































环境 变量 用 于 所 有 用 户 进程 (包括 子 进程 ) 。Shell 中 执行 的 用 户 进程 均 称 为 子 进程 。 不 像 本 地 变量 只 用 于 现在 的 Shell， 环 境 变量 可 用 于 所 有 子 进程 ， 包 括 编辑 器 、 脚 本 和 应 用 。 







































































环境 变量 主 目录 如 下 : 





S$HOME/ .bash profile(/etc/profile) 





设置 环境 变量 ,例句 如 下 所 示 : 





export test="123" 


























export 





本 地 变量 中 包含 环境 变量 。 环 境 变量 既 可 以 在 父 进程 中 运行 ， 也 可 以 在 子 进 程 中 运行 。 本 地 变量 则 不 能 运行 于 所 有 的 子 进 程 中 。 


变量 清除 命令 如 下 : 





unset 变量 名 



































再 来 看 看 位 置 变 量 ， 在 运行 某 些 程序 时 ， 程 序 中 会 带 一 系列 参数 ， 若 我 们 要 使 用 这 些 参数 ， 就 会 采用 位 置 来 表示 ， 则 这 些 变 量 被 称 为 位 置 变量 ， 目 前 在 Shell 中 的 位 置 变量 有 10 个 ($0~ $9) ， 超 过 10 















































其 他 方式 表示 。 其 中 ，$0 表 示 整 个 SHELL 脚 本 。 

















我 们 举例 来 说 明 位 置 变量 的 用 法 。 比 如 ， 有 如 下 test.sh 脚 本 内 容 : 




















#!/bin/bash 
echo "入 
echo "第 二 
echo "外 
echo "第 
echo " 甸 
echo "第 六 
echo "第 七 








现在 给 予 test.sh 执 行 权限 ， 命 令 如 下 : 





chmod +x test.sh 
./test.sh 123456 








命令 结果 显示 如 下 : 
./test.sh 
2 
| 
:4 
多 
:6 




















值得 注意 的 是 ， 从 第 10 个 位 置 参数 开始 ， 必 须 使 用 花 括号 包含 起 来 。 如 : ${10}。 





特殊 变量 9* 和 $@ 表 示 所 有 的 位 置 参数 ， 特 殊 变量 $# 表 示 位 置 参数 的 总 数 。 


























另外 ， 介 绍 一 下 工作 场景 中 关于 位 置 参 数 的 常见 用 法 ， 例 如 ， 脚 本 publishconf 依 次 对 后 面 的 |P 进 行 操作 ， 如 下 所 示 : 








publishconf -P 192.168.11.2 192.168.11.3 192.168.11.4 192.168.11.5 

















我 们 的 需求 是 依次 对 后 面 的 |P 进 行 操作 ， 这 个 时 候 我 们 可 以 利用 shift 命 令 ， 此 shift 命 令 用 于 对 参数 的 移动 ( 左 移 ) ， 此 时 ， 原 先 的 $4 会 变 成 $3，$3 会 变 成 $2，$2 会 变 成 $1。 部 分 业务 代码 摘录 如 下 : 
































if [ $# >=3 ] ;then 
shift 1 

echo "此 次 需要 更 新 的 机 器 IP 为 :$@" 
for flat in $@ 


dt 
”echo "此 次 需要 更 新 的 机 器 IP 为 ，$flat" 
对 相关 TP 机 器 进行 的 操作 代码 








我 们 将 进一步 详细 说 明 Shell 的 知识 要 点 。 


1 运行 Shell 脚 本 


























Shell 脚 本 有 两 种 运行 方式 ， 第 一 种 方式 是 利用 sh 命令 ， 把 Shell 脚 本 文件 名 作为 参数 。 这 种 执行 方式 要 求 Shell 脚 本 文件 具有 “可 读 ” 的 访问 权限 ， 然 后 输入 sh test.sh 即 可 执行 。 















































第 二 种 执行 方式 是 利用 chmod 命 令 设置 Shell 脚 本 文件 ， 使 Shell 脚 本 具有 “可 执行 ”的 访问 权限 ， 然 后 直接 在 命令 提示 符 下 输入 Shell 脚 本 文件 名 ， 例 如 ./test.sh。 





























2. 调 试 Shell 脚 本 


























使 用 bash-x 可 以 调试 Shell 脚 本 ，bash 会 先 打印 出 每 行 脚本 ， 再 打印 出 每 行 脚本 的 执行 结果 ， 如 果 只 想 调试 其 中 的 几 行 脚本 ， 可 以 用 set-x 和 set+x 把 要 调试 的 部 分 包含 进来 ， 如 下 : 











set ~x 


脚本 部 分 内 容 
Set +x 




















这 个 时 候 可 以 直接 运行 脚本 ， 不 需要 再 执行 bash-x 了 。 这 个 是 工作 中 非常 有 用 的 功能 ， 可 以 帮助 我 们 调试 变量 并 找 出 bug 点 ， 希 望 大 家 掌握 。 











3. 退 出 或 出 口 状态 























一 个 UNIX 进 程 或 命令 终止 运行 时 ， 将 会 自动 向 父 进程 返回 一 个 出 
的 出 错 代码 。 
































在 Shell 脚 本 中 ， 可 以 利 








“exit[n]” 命 令 在 终止 执行 shell 脚 本 的 同时 ， 向 调用 脚本 的 父 进程 返回 一 个 数值 为 n 的 Shell 脚 














状态 。 如 果 进程 成 功 执行 完毕 ， 则 返回 一 个 数值 为 0 

















状态 就 是 脚本 中 最 后 执行 的 一 条 命令 的 出 





不 带 参数 的 exit 语 句 结束 执行 ， 则 Shell 脚 本 的 出 




















的 出 口 状态 。 如 果 进 程 在 执行 过 程 中 出 现 异常 而 未 正常 结束 ， 则 返回 




















本 出 口 状态 。 


叶 












































在 UNIX 系 统 中 ， 为 了 测试 一 个 命令 或 Shell 脚 本 的 执行 结果 ，$? 内 部 变量 返回 之 前 执行 


4.Shell 变 量 











Shell 变 量 名 可 以 由 字母 、 数 字 和 下 划 线 等 字符 组 成 ， 但 第 一 个 字符 必须 是 字母 或 下 划 线 。 


Shell 中 的 所 有 变量 都 是 字符 串 类 型 的 ， 它 并 不 区 分 变量 的 类 型 ， 如 果 变 量 中 包含 下 划 线 
${PROJECT}_svn_${DATE}.tar.gz， 注 意 变量 PROJECT_svn}， 如 果 不 
































的 最 后 一 条 命令 的 出 口 状 态 ， 


其 中 ，0 才 是 正确 值 ， 








其 他 非 零 的 值 都 表示 是 错误 的 。 








(_) 就 要 注意 了 ， 有 些 脚本 的 区 别 就 很 大 ， 比 如 脚本 中 $PROJECT_svn_$DATE.tar.gz 与 
0 将 变量 全 部 包括 的 话 ，Shell 则 会 理解 成 变量 $PROJECT， 后 面 再 接着 _svn。 


























户 定义 的 变量 ， 以 下 为 它们 的 定义 : 
































从 用 途上 考虑 ， 变 量 可 以 分 为 内 部 变量 、 本 地 变量 、 环 境 变量 、 参 数 变量 和 











: 为 了 便于 Shell 编 程 而 由 Shell 设 定 的 变量 。 如 错误 类 型 的 ERRNO 变 量 。 

量 : 在 代码 块 或 函数 中 定义 的 变量 ， 且 仅 在 定义 的 范围 内 有 效 。 

量 : 调用 Shell 脚 本 或 函数 时 传递 的 变量 。 

: 为 系统 内 核 、 系 统 命令 和 用 户 命令 提供 运行 环境 而 设 定 的 变量 。 

“用户 定义 的 变量 : 为 运行 用 户 程序 或 完成 某 种 特定 任务 而 设 定 的 普通 变量 或 临时 变量 。 


5. 变 量 的 赋值 

















“= 实现， 其 语法 格式 为 : 





变量 的 赋值 可 以 采用 赋值 运算 符 








variable=value 














一 个 非 零 值 


其 中 ，n 必 须 是 一 个 位 于 0 ~ 255 范 围 内 的 整数 值 。 如 果 Shell 脚 本 以 





注 
六 全 运算 从 前 后 不 能 有 空格 ， 否 则 会 报错 ， 习 惯 Python 后 再 写 Shell 脚 本 可 能 经 常会 犯 这 种 错误 。 未 初始 化 的 变量 值 为 null， 使 用 下 列 变量 赋值 的 形式 即 可 声明 一 个 未 初始 化 的 变量 。 


如 果 在 “variable=value” 语 句 的 赋值 运算 符 前 后 有 空格 ， 则 报错 信息 如 下 : 


err = 72 
-bash: err: command not found 





笔者 也 经 常会 犯 这 种 错误 ， 大 家 不 要 忘 了 ，Shell 的 语法 其 实 是 很 严谨 的 。 


6. 内 部 变量 














户 的 Shell 编 程 提 供 支 持 。 如 下 : 





Shell 提 供 了 丰富 的 内 部 变量 , 为 








" PWD: 表示 当前 的 工作 目录 ， 其 变量 值 等 同 于 pwd 内 部 命令 的 输出 。 





“RANDOM: 每 次 引用 这 个 变量 时 都 会 生成 一 个 均匀 分 布 的 0~~32767 范 围 内 的 随机 整数 。 


: SCONDS: 脚本 已 经 运行 的 时 间 (单位 : 秒 ) 。 
“ PPID: 当前 进程 的 父 进 程 的 进程 ID。 
“ $? : 表示 最 近 一 次 执行 的 命令 或 shell 脚 本 的 出 口 状 态 。 


7. 环 境 变 量 


主要 环境 变量 如 下 所 示 : 





“EDITOR: 用 于 确定 命令 行 编辑 所 用 的 编辑 程序 ， 通 常 为 vim。 
“ HOME: 用 户主 目录 。 


PATH: 指定 命令 的 检索 路 径 。 


例如 ， 要 将 /usr/local/mysql/bin 目 录 添 加 进 系统 默认 的 PATH 变 量 中 ， 应 该 执行 以 下 操作 : 





PATH=$PATH: /usr/local/mysql/bin 
export PATH 
echo $PATH 











如 果 想 让 其 重启 或 重 开 一 个 Shell 也 生效 ， 又 该 如 何 操作 呢 ? 


























Linux 中 含有 两 个 重要 的 文件 : /etc/profile 和 $HOME/.bash_profile， 每 当 系 统 登 录 时 都 要 读 取 这 两 个 文件 ， 


























的 ，$HOME/.bash_profile 是 每 个 用 户 自己 独立 的 ， 可 以 通过 修改 该 文件 来 设置 PATH 变量 。 








注 
人 汪 这 种 方法 也 只 能 使 当前 用 户 生 效 ， 并 非 所 有 用 户 。 


于 初始 化 系统 所 














到 的 变量 ， 其 中 /etc/profile 是 超级 























户 使 













































































如 果 要 让 所 有 用 户 都 能 用 到 此 PATH 变量 ， 可 以 用 vim 命 令 打开 /etc/profile 文 件 ， 在 适当 位 置 添加 PATH=$PATH:/usrlocayVmysqVybin， 然 后 执行 source/etc/profile 使 其 生效 。 














8. 变 量 的 引用 和 蔡 换 
































假定 variable 是 一 个 变量 ， 在 变量 名 字 前 加 上 “$” 前 缀 符号 即 可 引用 变量 的 值 ， 表 示 使 用 变量 中 存储 的 值 来 蔡 换 变量 名 字 本 身 。 









































引用 变量 的 两 种 形式 : $variable 与 $fvariable}。 





位 于 双 引 号 中 的 变量 可 以 进行 替换 ， 但 位 于 单 引 号 中 的 变量 不 能 进行 替换 。 

















9. 变 量 的 间接 引 

















假定 一 个 变量 的 值 是 另 一 个 变量 的 名 字 ， 则 根据 第 一 个 变量 可 以 获取 第 三 个 变量 的 值 。 举 例 说 明 如 下 : 


a=123 


eval c=\${$b} 


人 党 作 中 不 推荐 使 用 这 种 用 法 ， 写 出 来 的 脚本 容易 产生 歧义 ， 让 人 混淆 ， 而 且 也 不 方便 在 团队 里 面 交流 工作 。 


10. 变 量 声明 与 类 型 定义 


EG: 


虽然 Shell 并 未 严格 区 分 变量 的 类 型 ， 但 在 Bash 中 ， 可 以 使 用 typeset 或 declare 命 令 定义 变量 的 类 型 ， 并 可 在 定义 时 进行 初始 化 。 举 例 说 明 ， 比 如 我 们 可 以 使 用 declare 命 令 预先 定义 一 个 字典 ， 命 令 如 
下 所 示 : 









































declare -A dict 
dict=([keyl]="valuel" [key2]="value2" [key3]="value3") 





11. 部 分 常用 命令 介绍 














这 里 介绍 工作 中 我 们 常用 的 部 分 Shell 命 令 ， 如 下 所 示 : 











(1) 冒号 



























































冒号 (: ) 与 true 语 句 不 执行 任何 实际 的 处 理 动作 ， 但 可 用 于 返回 一 个 出 口 状态 为 0 的 测试 条 件 。 这 两 个 语句 常用 于 While 循环 结构 的 无 限 循环 测试 条 件 ， 我 们 在 脚本 中 经 常会 见 到 这 样 的 使 用 : 











while : 


























这 表示 是 一 个 无 限 循环 的 过 程 ， 所 以 使 用 的 时 候 要 特别 注意 ， 不 要 形成 了 死 循 环 ， 所 以 一 般 会 定义 一 个 sleep 时 间 ， 可 以 实现 秒 级 别 的 cron 任 务 ， 其 语法 格式 为 : 








命令 语 


句 
sleep 自己 定义 的 秒 数 





(2) echo 与 print 命 令 















































print 的 功能 与 echo 的 功能 完全 一 样 ， 主 要 用 于 显示 各 种 信息 。 在 工作 中 主要 用 于 跟 awk 配 合 ， 输 出 截取 的 字段 详细 信息 ， 如 下 所 示 : 





ps aux | grep rsync-inotify.sh | grep -v grep | awk '{print $2}' 





(3) read 命 令 





read 语 句 的 主要 功能 是 读 取 标 准 输入 的 数据 ， 然 后 存储 到 变量 参数 中 。 如 果 read 命 令 后 面 有 多 个 变量 参数 ， 则 输入 的 数据 会 按 空格 分 隔 单词 顺序 依次 为 每 个 变量 赋值 。read 在 交互 式 脚本 中 相当 有 | 
建议 大 家 掌握 。 





















































read 命 令 用 于 接收 标准 输入 (键盘 ) 的 输入 ， 或 其 他 文件 描述 符 的 输入 会 详细 介绍 。 得 到 输入 后 ，read 命 令 会 将 数据 放 入 一 个 标准 变量 中 。 下 面 是 read 命 令 的 最 简单 形式 : 





#!/bin/bash 


echo -n "Enter your name:" # 参 数 -n 的 作用 是 不 换行 ，echo 默 认 是 换行 
read name # 从 键盘 输入 

echo "hello $name,welcome to my Program" # 显 示 信 息 

exit 0 # 退 出 shell 程 序 








由 于 read 命 令 提 供 了 -p 参 数 ， 人 允许 在 read 命 令 行 中 直接 指定 一 个 提示 ， 因 此 上 面 的 脚本 可 以 简写 成 下 面 的 脚本 : 














#!/bin/bash 

read -p "Enter your name:" name 

echo "hello $name, welcome to my program" 
exit 0 





(4) set 与 unset 命 令 





























set 命 令 用 于 修改 或 重新 设置 位 置 参数 的 值 。Shell 规 定 ， 用 户 不 能 直接 为 位 置 参数 赋值 。 使 用 不 带 参数 的 set 将 输出 所 有 内 部 变量 。 



























































set-- 用 于 清除 所 有 位 置 参数 。 








(5) unset 命 令 























该 命令 用 于 清除 Shell 变 量 ， 把 变量 的 值 设置 为 null。 这 个 命令 并 不 影响 位 置 参数 ， 比 如 我 们 先 设置 一 个 变量 为 a=34， 然 后 用 unset 变 量 清除 ， 如 下 所 示 : 





unset a 





(6) expr 命 令 















































expr 命 令 是 一 个 手工 命令 行 计数 器 ， 用 于 在 Linux 下 求 表达 式 变量 的 值 ， 一 般 用 于 整数 值 ， 也 可 用 于 字符 串 。 其 格式 为 : 











expr Expression 





上 述 命令 表示 读 入 Expression 参 数 ， 计 算 它 的 值 ， 然 后 将 结果 写 入 到 标准 输出 。 











参数 应 用 规则 如 下 : 





“ 用 空格 隔 开 每 个 项 ; 

: 用 / ( 反 鲜 杠 ) 放 在 shell 特 定 的 字符 前 面 ; 

“ 对 于 包含 空格 和 其 他 特殊 字符 的 字符 串 要 用 引号 包含 起 来 。 
expr 命 令 支持 的 整数 算术 运算 表达 式 如 下 : 


“exp1+exp2， 计 算 表 达 式 exp1 和 exp2 的 和 。 


四 


“ exp1-exp2， 计 算 表 达 式 exp1 和 exp2 的 差 。 


中 


“ exp1/exp2， 计 算 表 达 式 expl1 和 exp2 的 乘积 。 


@ 
共 


1/exp2， 计 算 表 达 式 exp1 和 expb2 的 商 。 





四 
只 


1%exp2， 计 算 表 达 式 exp1 与 exp2 的 余数 。 


expr 命 令 还 可 支持 字符 串 比较 表达 式 ， 如 下 : 





strl=str2 








这 里 为 比较 字符 串 str1 和 str2 是 否 相等 ， 如 果 计 算 结果 真 ， 同 时 输出 1， 则 返回 值 为 0。 反 之 计算 结果 为 假 ， 则 输出 0， 返 回 1。 























要 说 明 的 是 ，expr 默 认 是 不 支持 浮 点 运算 的 ， 比 如 我 们 想 在 expr 下 面 输出 echo“1.2*7.8” 的 运算 结果 是 不 可 能 的 ， 那 该 怎么 办 呢 ? 这 里 可 以 使 用 bc 计算 器 ， 举 例如 下 : 











echo "scale=2;1.2*7.8" |bc 
# 这 里 用 scale 来 控制 小 数 点 精度 ， 默 认为 1 


(7) let 命 令 





let 命 令 取代 并 扩展 了 expr 命 令 的 整数 算术 运算 。let 命 令 除 了 支持 expr 支 持 的 五 种 算术 运算 外 ， 还 支持 +=、-=、*=、/=、%=。 


12 数值 常数 





Shell 脚 本 按 十 进 制 解释 字符 串 中 的 数字 字符 ， 除 非 数字 前 有 特殊 的 前 缀 或 记号 ， 若 数字 前 有 一 个 0 则 表示 一 个 八进制 的 数 ，0x 或 0X 则 表示 一 个 十 六 进 制 的 数 。 


13. 命 令 蔡 换 





命令 蔡 换 的 目的 是 获取 命令 的 输出 ， 且 为 变量 赋值 或 对 命令 的 输出 做 进一步 的 处 理 。 命 令 蔡 换 实现 的 方法 为 采用 $ (http://www.hzcourse.com/resource/readBook? 























path=/openresources/teach_ebook/uncompressed/17230/OEBPSVText/…) 形式 引用 命令 或 使 用 反 向 引号 引用 命令 command'。 如 : 





























today=$ (date) 
echo $today 


文件 filename 中 包含 需要 删除 的 文件 列表 时 ， 采 用 如 下 命令 : 








rm $ (cat filename) 





0: 


’ 


14.test 语 句 


test 语 句 与 if/then 和 case 结 构 的 语句 一 起 构成 了 Shell 编 程 的 控制 转移 结构 。 























test 命 令 的 主要 功能 是 计算 紧 随 
如 果 为 假 ， 则 返回 一 个 非 0 的 数值 。 

















后 的 表达 式 、 检 查 文件 的 属性 、 比 较 字 符 串 或 比较 字符 串 内 涵 的 整数 值 ， 然 后 以 表达 式 的 计算 结果 作为 test 命 令 的 出 口 状态 。 如 果 test 命 令 的 出 口 状态 为 真 ， 则 返回 


























test 命 令 的 语法 格式 有 : 





test expression 





或 


[ expression ] 





注意 上 述 代码 中 方 括号 内 侧 的 两 边 必 须 各 有 一 个 空格 。 





[[expression]] 是 一 种 比 [expression] 更 通用 的 测试 结构 ， 也 用 于 扩展 test 命 令 。 





15 .文件 测试 运算 符 











文件 测试 主要 指 文件 的 状态 和 属性 测试 ， 其 中 包括 文件 是 否 存在 ， 文 件 的 类 型 、 文 件 的 访问 权限 以 及 其 他 属性 。 











下 面 为 文件 属性 测试 表达 式 : 


“ -efle， 如 果 给 定 的 文件 存在 ， 则 条 件 测 试 的 结果 为 真 。 


“ -fle， 如 果 给 定 的 文件 存在 ， 且 其 访问 权限 是 当前 用 户 可 读 的 ， 则 条 件 测试 的 结果 为 真 。 


“ -Ww 包 e， 如 果 给 定 的 文件 存在 ， 且 其 访问 权限 是 当前 用 户 可 写 的 ， 则 条 件 测试 的 结果 为 真 。 


“ 飞人 e， 如 果 给 定 的 文件 存在 ， 且 其 访问 权限 是 当前 用 户 可 执行 的 ， 则 条 件 测试 的 结果 为 真 。 


“ -sfle， 如 果 给 定 的 文件 存在 ， 且 其 大 小 大 于 0， 则 条 件 测 试 的 结果 为 真 。 


“ -ffle， 如 果 给 定 的 文件 存在 ， 且 是 一 个 普通 文件 ， 则 条 件 测 试 的 结果 为 真 。 


“ -dfle， 如 果 给 定 的 文件 存在 ， 且 是 一 个 目录 ， 则 条 件 测试 的 结果 为 真 。 


: 工 fle， 如 果 给 定 的 文件 存在 ， 且 是 一 个 符号 链接 文件 ， 则 条 件 测试 的 结果 为 真 。 





“ -Cc file， 如 果 给 定 的 文件 存在 ， 且 是 字符 特殊 文件 ， 则 条 件 测试 的 结果 为 真 。 


“ -be， 如 果 给 定 的 文件 存在 ， 且 是 块 特殊 文件 ， 则 条 件 测试 的 结果 为 真 。 





“ -Pp 包 e， 如 果 给 定 的 文件 存在 ， 且 是 命名 的 管道 文件 ， 则 条 件 测试 的 结果 为 真 。 


常见 代码 举例 如 下 : 





BACKDIR=/data/backup 

[ -qd ${BACKDIR} ] || mkdir -p ${BACKDIR} 

[ -d ${BACKDIR}/${DATE} ] || mkdir ${BACKDIR}/$ {DATE} 

[ ! -qd ${BACKDIR}/${OLDDATE} ] || rm -rf ${BACKDIR}/${OLDDATE} 





下 面 是 字符 串 测试 运算 符 : 

“ -stt， 如 果 给 定 的 字符 串 长 度 为 0， 则 条 件 的 结果 为 真 。 

“ -nstr， 如 果 给 定 的 字符 串 长 度 大 于 0， 则 条 件 测试 的 结果 为 真 。 注 意 ， 要 求 字 符 串 必须 加 引号 。 
“ s1=s2， 如 果 给 定 的 字符 串 s1 等 同 于 字符 囊 s2， 则 条 件 测试 的 结果 为 真 。 

“ s11 =s2， 如 果 给 定 的 字符 串 s1 不 等 同 于 字符 串 s2， 则 条 件 测试 的 结果 为 真 。 

“ s1<s2， 如 果 给 定 的 字符 串 s1 小 于 字符 串 s2， 则 条 件 测试 的 结果 为 真 。 例 : 

ifl["$a"<"Sb"]] 

if["$a"/<"$b' 趾 ， 在 单方 括号 的 情况 下 ， 字 符 “<” 和 “>” 前 需 加 转 义 符号 。 

“ s1>s2， 若 给 定 的 字符 串 s1 大 于 字符 串 s2， 则 条 件 测试 的 结果 为 真 。 

在 比较 字符 串 的 test 语 句 中 ， 变 量 或 字符 串 表 达 式 前 后 一 定 要 加 双 引 号 。 


再 来 看 看 整数 值 测试 运算 符 。test 语 句 中 整数 值 的 比较 会 自动 采用 (语言 中 的 atoi () 函数 把 字符 转换 成 等 价 的 ASC 整 数值 ， 所 以 可 以 使 用 数字 字符 串 和 整数 值 进行 比较 。 整 数 测试 表达 式 为 : -eq (等 
于 ) ，-ne (不 等 于 ) ，-gt (大 于 ) ，-lt (小 于 ) ，-ge (大 于 等 于 ) ，-le (小 于 等 于 ) 。 


16. 逻 辑 运 算 符 

Shell 中 的 逻辑 运算 符 如 下 所 示 : 

(expression) : 用 于 计算 括号 中 的 组 合 表达 式 ， 如 果 整 个 表达 式 的 计算 结果 为 真 ， 则 测试 结果 也 为 真 。 
:1 exp: 可 对 表达 式 进行 远 辑 非 运 算 ， 即 对 测试 结果 求 反 。 例 : test! -ffilel。 

* 符号 -a 或 &&: 表示 远 辑 与 运算 。 


:符号 -0 或 ||: 表示 远 辑 或 运算 。 








Shell 脚 本 中 的 用 法 可 参考 图 2-1。 














1 若 cmd1 执行 完毕 县 正确 执 行 ($?=0)， 则 开始 执行 cmd2，。 


2. 若 cmd1 执行 完毕 目 为 错误 ($?#0)， 则 cmd2 不 执行 。 


1 若 cmd1 执行 完毕 且 正 确 执 行 ($?=0)， 则 cmd2 不 执行 。 
2. 若 cmd1 执行 完毕 且 为 错误 ($?#0)， 则 开始 执行 cmd2。 





图 2-1 && 与 | | 指令 说 明 


17.Shell 中 的 自 定义 函数 


自 定义 语法 比较 简单 ， 如 下 : 





function 函数 名 () 
{ 


action; 


[return 数值 ;] 








具体 说 明 如 下 : 
“ 自 定义 函数 时 可 以 带 function 函 数 名 () 进行 定义 ， 也 可 以 直接 使 用 函数 名 () 定义 ， 不 带 任何 参数 。 
“ 参数 返回 时 ， 可 以 加 retum 显 式 返 回 ， 如 果 不 加 ， 将 以 最 后 一 条 命令 运行 结果 作为 返回 值 。teturn 后 跟 数值 ， 取 值 范围 为 0 一 255。 


例如 ， 遍 历 /usrlocal/src 目 录 里 面包 含 的 所 有 文件 (包括 子 目录 ) ， 脚 本 内 容 如 下 : 











#!/bin/bash 
function traverse(){ 
for file in “1s $1° 
o 

4 [| ~ $l"/ "$file ] 

then 

traverse $1"/"$file 

else 

echo $1"/"$file 

Ty 

done 


traverse "/usr/local/src" 





18.Shell 中 的 字符 串 截取 











Shell 截 取 字 符 串 的 方法 有 很 多 ， 常 用 的 有 以 下 几 种 。 











先 来 看 第 一 种 方法 ， 从 不 同 的 方向 截取 。 


从 左 向 右 截取 最 后 一 个 string 后 的 字符 串 ， 命 令 如 下 : 





S{Varible##*Stringl 





从 左 向 右 截取 第 一 个 string 后 的 字符 串 ， 命 令 如 下 : 








${varible#*string} 





从 右 向 左 截取 最 后 一 个 string 后 的 字符 串 ， 命 令 如 下 : 





${varibles%sstring*} 





从 右 向 左 截取 第 一 个 string 后 的 字符 串 ， 命 令 如 下 : 








${variblesstring*} 





下 面 是 第 二 种 方法 。 





${ 变 量 :n1:n2}: 截取 变量 从 n1 开 始 的 n2 个 字符 ， 组 成 一 个 子 字符 串 。 可 以 根据 特定 字符 偏 移 和 长 度 ， 使 用 另 一 种 形式 的 变量 扩展 方式 来 选择 特定 的 子 字符 串 ， 例 如 下 面 的 命令 : 











${t2:0:4} 























这 种 形式 的 字符 串 截断 非常 简便 ， 只 需 用 冒号 分 开 指定 起 始 字符 和 子 字符 串 长 度 ， 工 作 中 用 得 最 多 的 也 是 这 种 方式 。 

















还 有 第 三 种 方法 。 








这 里 使 用 cut 命 令 获 取 后 缀 名 ， 命 令 如 下 : 











Loe-=al | wat = uu “i 





19.Shell 中 的 数组 








Shell 支 持 数组 ， 但 仅 支持 一 维 数组 (不 支持 多 维 数组 ) ， 并 且 没 有 限定 数组 的 大 小 。 类 似 于 C 语 言 ， 数 组 元 素 的 下 标 由 0 开始 编号 。 获 取 数 组 中 的 元 素 要 利用 下 标 ， 下 标 可 以 是 整数 或 算术 表达 式 ， 其 值 
应 大 于 或 等 于 0。 











(1) 定义 数组 

















在 Shell 中 ， 用 括号 来 表示 数组 ， 数 组 元 素 用 “空格 ”符号 分 割 开 。 定 义 数组 的 一 般 形 式 为 : 





























array_name= (Valuel http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... valuen) 





例如 : 





array_name= (Value0 valuel value2 value3) 





或 者 





array name=( 
value0 
valuel 
value2 
Value3 

) 





还 可 以 单独 定义 数组 的 各 个 分 量 : 





array_name [0]=value0 
array_name [1]=valuel 
array_name [2]=value2 





也 可 以 不 使 用 连续 的 下 标 ， 而 且 下 标的 范围 没有 限制 。 
(2) 读 取 数 组 


读 取 数 组 元 素 值 的 一 般 格 式 是 : 





${array_name [index]} 





例如 : 





valuen=$ {array_name [2]} 











下 面 用 一 个 Shell 脚 本 举例 说 明 上 面 的 用 法 ， 脚 本 内 容 如 下 所 示 : 

















#!/bin/bash 


NAME [0]="yhcn 
1] 入 





echo "First Index: ${NAME[0]}" 
echo "Second Index: ${NAME[1]}" 





运行 脚本 ,命令 如 下 所 示 : 





bash ,/test.sh 





输出 结果 如 下 所 示 : 





First Index: yhc 
Second Index: cc 





使 用 @ 或 * 可 以 获取 数组 中 的 所 有 元 素 ， 例 如 : 





S${farray_name [*] } 
${array name[@]} 





我 们 在 上 面 的 代码 末尾 加 上 两 行 ， 如 下 所 示 : 





echo "${NAME[*] 


和 
echo "${NAME[@]}" 





运行 脚本 ， 输 出 : 





First Index: yhc 
Second Index: cc 
yhc cc gl wendy 
yhc cc gl wendy 





(3) 获取 数组 的 长 度 
获取 数组 长 度 的 方法 与 获取 字符 串 长 度 的 方法 相同 ， 例 如 : 


取得 数组 元 素 的 个 数 ， 命 令 如 下 所 示 : 





length=$ {#array_name[@]} 





取得 数组 单个 元 素 的 长 度 ， 命 令 如 下 所 示 : 





length=${#array name[*]} 





20.Shell 中 的 字典 
(1) 定义 字典 


Shell 也 是 支持 字典 的 ， 不 过 要 先进 行 声明 ， 然 后 再 定义 ， 语 法 如 下 所 示 : 





# 必 须 先 声明 ， 然 后 再 定义 ， 这 里 定义 了 一 个 名 为 dic 的 字典 
declare -A dic 
dic=([keyl]="valuel" [key2]="value2" [key3]="value3") 





例子 如 下 所 示 : 





declare -A dic 
dic=([nol]="yhc" [no2]="yht" [no3]="cc") 








(2) 打印 字典 


打印 指定 key 的 value， 例 子 如 下 所 示 : 





echo ${dic[no3]} 





打印 所 有 key 值 : 





echo ${!dic[*]} 





打印 所 有 value : 





echo ${dic[*]} 





遍历 key 值 : 





for key in $ (echo ${!dic[*]}) 
do 


echo "$key : ${dic[$key]}" 








命令 输出 结果 如 下 所 示 : 
no3 ; ce 

no2 : yht 

nol : yhc 





@ 吝 ; 字 身 比 较 小 时 ， 用 Shell 和 Python 差 别 不 大 。 但 是 ， 当 字典 比较 大 时 ，Shell 的 效率 会 明显 差 于 Python。 根 源 在 于 Shell 在 查 字典 时 会 采取 遍历 的 算法 ， 而 Python 用 的 是 哈 希 算法 。 


2.2 ”Shell 中 控制 流 结构 


Shell 中 的 控制 结构 也 比较 清晰 ， 如 下 所 示 : 


* ifhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/...thenhttp://www.hzcourse.com/resource/readBook? 


path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/...elsehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/...fi 语 名 
“ case 语 名 
“for 循环 
until 循环 
while 循环 
“ break 控 制 


”continue 控制 





工作 中 使 用 最 多 的 就 是 if 语句 、for 循 环 、while 循 环 ， 以 及 case 选 择 ， 大 家 可 以 把 这 几 个 作为 重点 对 象 进行 学 习 。 


if 语 句 语法 如 下 : 








if 语句 的 进 阶 用 法 : 





if 条 件 1 
then 


命令 1 
elseif 条 件 2 
then 
命令 2 
命令 3 


else 


£1i 





举例 说 明 if 语句 的 用 法 ， 如 下 : 





#!/bin/bash 
if | "Ow -1 "ia 
then 

echo "10 确 实 比 12 小 " 
else 

echo "10 不 小 于 12" 
型 





case 语 句 语法 如 下 : 




















case 取 值 后 面 必 须 为 单词 in， 每 一 模式 必须 以 右 括号 结束 ， 取 值 可 以 为 变量 或 常数 。 匹 配 发 现 取 值 符号 某 一 模式 后 ， 其 间 所 有 命令 开始 执行 直至 ;; 。 模 式 匹 配 符 * 表 示 任 意 字 符 ，? 表示 任意 单字 符 ， 
[http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/..] 表 示 类 或 范围 中 任意 字符 。 














case 语 句 适合 打印 成 绩 或 用 于 /etc/init.d/ 服 务 类 脚本 ， 用 











下 述 脚本 举例 说 明 : 

















#!/bin/bash 

#case select 

echo -n "Enter a number from 1 to 3:" 
read ANS 

case $ANS in 

i) 

echo "you select 1" 


2) 
echo “you select 2" 


3) 
echo "you select 3" 


法 


echo " "basename $0*: this is not between 1 and 3" 


exit; 





下 面 是 稍为 复杂 的 实例 说 明 ，/etc/init.d/syslog 脚 本 的 部 分 代码 如 下 ， 大 家 注意 case 语 句 的 | 



































法 ， 可 以 以 此 作为 参考 编写 自己 的 case 脚 本 : 














case "$1" in 
start) 

start 

exit 0 

stop) 

stop 

exit 0 


reload|restart |force-reload) 
stop 

start 

exit 0 


oy 


echo "Usage: $0 {start|stoplreload|restart|force-reload}" 


exit 1 


for 循 环 语句 的 语法 如 下 所 示 : 





for 变量 名 in 列表 
do 
命令 





若 变量 值 在 列表 里 ，for 循 环 即 执行 一 次 所 有 命令 ， 并 使 





























变量 名 访问 列表 且 取 值 。 命 令 可 为 任何 有 效 的 shell 命 令 和 语句 ， 变 量 名 为 任意 单词 。in 列 表 可 以 包含 替换 、 字 符 串 和 文件 名 ， 还 可 以 是 数值 范 
围 ， 例 如 {100http://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/..200}， 举 例 说 明 : 





#!/bin/bash 


for n in {100http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..200} 


do 

host=192.168.1.$n 
ping -c2 $host &>/dev/null 
if [ $? = 0 ]; then 

echo "$host is UP" 
else 

echo "$host is DOWN" 
fi 





while 循 环 的 语法 如 下 所 示 : 





while 条 件 
do 
命令 














在 Linux 中 有 很 多 逐 行 读 取 一 个 文件 的 方法 ， 其 中 最 








常 








来 检验 各 种 方法 的 执行 效率 ， 其 中 笔者 最 喜欢 的 就 是 管道 法 。 























的 就 是 下 面 脚本 里 的 方法 一 一 管道 法 ， 而 且 这 也 是 效率 最 高 、 使 用 最 多 的 方法 。 为 了 给 大 家 一 个 直观 的 感受 ， 我 们 将 通过 生成 一 个 大 文件 的 方式 


























在 脚本 里 ，LINE 这 个 变量 是 预定 义 的 ， 并 不 需要 重新 定义 ，$FILENAME 后 面 接 系统 中 实际 存在 的 文件 名 。 


管道 方法 的 命令 语句 为 : 





Cat $FILENAME | while read LINE 





脚本 举例 说 明 如 下 : 





#! /bin/bash 
cattest.txt | while read LINE 
do 

echo SLINE 

done 








2.3 ”Sed 的 基础 用 法 及 实用 举例 














Sed 是 Linux 平 台 下 的 轻 量 级 流 编辑 器 ， 一 般 用 于 处 理 文本 文件 。sed 有 许多 很 好 的 特性 ， 首 先 ， 它 十 分 小 巧 ; 其 次 ， 它 可 以 配合 强大 的 Shell 完 成 许多 复杂 的 功能 。 在 笔者 看 来 ， 我 们 完全 可 以 把 sed 当 

















作 一 个 脚本 解释 器 ， 它 用 类 似 于 编程 的 手段 来 完成 许多 对 



































事情， 我 们 也 完全 可 以 


作文 档 ， 所 以 大 家 能 发 现 它 在 Shell 脚 本 里 的 使 用 频率 是 很 高 的 。 























sed 的 方式 来 处 理 





日 常 工作 中 的 大 多 数 文档 。 它 跟 vim 最 大 的 区 别 是 : 它 不 需要 像 vim 一 样 打开 文件 ， 可 以 直接 在 脚本 里 面 操 








2.3.1 Sed 的 基础 语法 格式 


Sed 的 格式 如 下 所 示 : 





sed [-nefr] [nl,n2] 动作 








其 中 : 
. -n: 安静 模式 ， 只 有 经 过 sed 处 理 过 的 行 才 显示 出 来 ， 其 他 不 显示 。 


“ -e: 表示 直接 在 命令 行 模式 上 进行 sed 操 作 。 黑 认 选 项 ， 不 用 写 。 


各 


: 将 sed 的 操作 写 在 一 个 文件 里 ， 使 用 -ffilename 就 可 以 按照 内 容 进 行 sed 操 作 了 。 


二 


: 表示 使 ed 支持 扩展 正则 表达 式 。 

“ -i; 直接 修改 读 取 的 文件 内 容 ， 而 不 是 输出 到 终端 。 

:nl1，n2: 选择 要 进行 处 理 的 行 ， 如 10，20 表 示 在 10~20 行 之 间 处 理 不 一 定 需要 。 

Sed 格 式 中 的 动作 支持 如 下 参数 : 

“a: 表示 添加 ， 后 接 字 符 串 ， 添 加 到 当前 行 的 下 一 行 。 

“Cc: 表示 替换 ， 后 接 字 符 事 ， 用 它 替 换 n1 到 n2 之 间 的 行 。 

“ d: 表示 删除 符合 模式 的 行 ， 它 的 语法 为 sedVregexp/d'，// 之 间 是 正则 表达 式 ， 模 式 在 d 前 面 ，d 后 面 一 般 不 接任 何 内 容 。 
"i; 表 示 插 入 ， 后 接 字符 串 ， 添 加 到 当前 行 的 上 一 行 。 

“Pp: 表示 打印 ， 打 印 某 个 选择 的 数据 ， 通 常 与 -n (安静 模式 ) 一 起 使 用 。 

: s: 表示 搜索 ， 还 可 以 替换 ， 类 似 与 vim 里 的 搜索 替换 功能 。 例 如 : 1，20s/old/new/g 表 示 普 换 1~20 行 的 old 为 hew，g 在 这 里 表示 处 理 这 一 行 所 有 匹配 的 内 容 。 
人 细作 最 好 用 单 引号 " 括 起 来 ， 防 止 因 空 格 导致 错误 。 


sed 的 基础 实例 如 下 (下面 所 有 实例 在 CentOS 6.8 x86_x64 下 已 通过 ， 这 里 提前 将 /etc/passwd 拷 贝 到 /tmp 目 录 下 ) 。 





1) 显示 passwd 内 容 ， 将 2 ~ 5 行 删 除 后 显示 ， 命 令 如 下 所 示 : 


cat-n/tmpy/passwd|sed'2，5d 结果 显示 如 下 : 





lroot:x:0:0:root:/root:/bin/bash 

6sync:x:5:0:sync:/sbin:/bin/sync 

7shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 

8halt:x:7:0:halt:/sbin:/sbin/halt 

Qmail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
lO0uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
lloperator:x:11:0:operator:/root:/sbin/nologin 
1l2games:x:12:100:games:/usr/games:/sbin/nologin 
13gopher:x:13:30:;gopher:/var/gopher:/sbin/nologin 
14ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
15nobody:x:99:99:Nobody:/:/sbin/nologin 
16vcsa:X:69:69:Vvirtual console memory owner:/dev:/sbin/nologin 
17saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin 
1l8postfix:x:89:89::/var/spool/postfix:/sbin/nologin 
1l9sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 
20vagrant :x:500:500:vagrant:/home/vagrant:/bin/bash 
21vboxadd:x:498:1::/var/run/vboxadd:/bin/false 














2) 在 第 2 行 的 后 一 行 加 上 “hello，world” 字 符 串 ， 命 令 如 下 所 示 : 








cat -n /tmp/passwd |sed '2a hello,world' 





显示 结果 如 下 : 





lroot:x:0:0:root:/root:/bin/bash 
2bin:x:1:1:bin:/bin:/sbin/nologin 
hello,world 

3daemon:x:2:2:daemon:/sbin:/sbin/nologin 

4adm: x: :adm: /var/adm: /sbin/nologin 

Slp:x lp:/var/spool/lpd: /sbin/nologin 

6sync:x:5:0:sync:/sbin:/bin/sync 

7shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 

8halt:x:7:0:halt:/sbin:/sbin/halt 

Qmail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
1l0uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
lloperator:x:11:0:operator:/root:/sbin/nologin 
12games:x:12:100:;games:/usr/games:/sbin/nologin 
13gopher:x:13:30:gopher:/var/gopher:/sbin/nologin 
14ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
15nobody:x:99:99:Nobody:/:/sbin/nologin 
1l6vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin 
17saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin 
18postfix:x :/var/spool/postfix:/sbin/nologin 
1l9sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 
20vagrant :x:500:500:vagrant:/home/vagrant:/bin/bash 
21vboxadd:x:498:1::/var/run/vboxadd: /bin/false 

















3) 在 第 2 行 的 后 一 行 加 上 两 行 字 ， 例 如 : “this is first line! ”和 “this is second line! ”,， 命令 如 下 所 示 : 





cat -n /tmp/passwd |sed '2a this is first line! \ # 使 用 续航 符 \ 后 按 回 车 输入 后 续 行 
>this is second linel! 





命令 显示 结果 如 下 : 





1root:x:0:0:root:/root:/bin/bash 
2bin:x:1:1:bin:/bin:/sbin/nologin 
this is first line! 
this is second line! 
3daemon:x:2:2:daemon:/sbin:/sbin/nologin 
4agm: x:3:4:adm: /var/adm: /sbin/nologin 
S51lp:x:4:7:1p:/var/spool/lpd:/sbin/nologin 
6sync:x:5:0:sync:/sbin:/bin/sync 
Tshutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 
8halt:x:7:0:halt:/sbin:/sbin/halt 
Qmail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
lO0uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
lloperator:x:11:0:operator:/root:/sbin/nologin 
12games:x:12:100:games:/usr/games:/sbin/nologin 
13gopher:x:13:30:gopher:/var/gopher:/sbin/nologin 
14ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
15nobody:x:99:99:Nobody:/:/sbin/nologin 
16vcsa:X:69:69:virtual console memory owner:/dev:/sbin/nologin 
17saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin 
1l8postfix:x:89:89::/var/spool/postfix:/sbin/nologin 
19sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 
20vagrant :x:500:500:vagrant:/home/vagrant:/bin/bash 
21vboxadd:x:498:1::/var/run/vboxagdd: /bin/false 














4) 将 2 ~ 5 行 的 内 容 蔡 换 成 “| am a good man! " 





cat -n /tmp/passwd | sed '2,5c I am a good man!' 





显示 结果 如 下 : 





lroot:x:0:0:root:/root:/bin/bash 
I am a good man! 

6sync:x:5:0:sync:/sbin:/bin/sync 

7shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 

8halt:x:7:0:halt:/sbin:/sbin/halt 

Qmail:x:8:12:mail:/var/spool/mail:/sbin/nologin 
lO0uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
lloperator:x:11:0:operator:/root:/sbin/nologin 
12games:x:12:100:games:/usr/games:/sbin/nologin 
13gopher:x:13:30:gopher:/var/gopher:/sbin/nologin 
14ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
1l5nobody:x:99:99:Nobody:/:/sbin/nologin 
1l6dbus:x:81:81:System message bus:/:/sbin/nologin 
17usbmuxdq:x:113:113:usbmuxd user:/:/sbin/nologin 
18rtkit:x:499:499:RealtimeKit:/proc:/sbin/nologin 
19avahi-autoipd:x:170:170:Avahi IPv4LL Stack:/var/lib/avahi-autoipd:/sbin/nologin 
20vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin 
21abrt:x:173:173::/etc/abrt:/sbin/nologin 
22haldaemon:x:68:68:HAL daemon:/:/sbin/nologin 
23ntp:x:38:38::/etc/ntp:/sbin/nologin 
24apache:x:48:48:Apache:/var/www:/sbin/nologin 
25saslauth:x:498:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin 
26postfix:x:89:89::/var/spool/postfix:/sbin/nologin 
27gdm:x:42:42:;:/var/lib/gdm:/sbin/nologin 
28pulse:x:497:496:PulseAudio System Daemon:/var/run/pulse:/sbin/nologin 
29sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 
30tcpdump:x:72:72::/:/sbin/nologin 
31yhc:x:500:500:yhc:/home/yhc:/bin/bash 









































5) 只 显示 5 ~ 7 行 ， 注 意 p 与 -n 的 配合 使 用 ,命令 如 下 : 











cat -n /tmp/passwd |sed -n '5,7p' 











显示 结果 如 下 : 
lp:x:4:7:1p:/var/spool/1lpd:/sbin/nologin 

6 sync:x:5:0:sync:/sbin:/bin/sync 

7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 








6) 使 用 ifconfig 和 sed 组 合 列 出 特定 网 卡 的 P， 这 里 我 们 用 一 台 线 上 的 阿里 云 ECS 机 器 举例 说 明 。 




















如 果 我 们 只 想 获取 eth0 的 IP 地 址 ( 即 内 网 IP 地 址 ) ， 可 以 先 用 ifconfig eth0 查 看 网 卡 eth0 的 地 址 ， 如 下 : 








ifconfig eth0 





命令 显示 结果 如 下 : 





eth0 Link encap:Ethernet HWaddr 00:16:3E:00:42:27 
inet addr:10.168.26.245 Bcast:10.168.31.255 Mask:255.255.248.0 
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 
RX packets:636577 errors:0 dropped:0 overruns:0 frame:0 
TX packets:644337 errors:0 dropped:0 overruns:0 carrier:0 
collisions:0 txqueuelen:1000 
RX bytes:102512163 (97.7 MiB) TX bytes:43675898 (41.6 MiB) 

















我 们 可 以 先 用 grep 取 出 有 IP 的 那 一 行 ， 然 后 用 sed 去 掉 (替换 成 空 ) IP 前 面 和 后 面 的 内 容 ， 命 令 如 下 : 




















ifconfig eth0 | grep "inet addr" | sed 's/^.*addr://g' | sed 's/Bcast.*$//g' 





命令 显示 结果 如 下 : 





10.168.26.245 





这 行 组 和 命令 的 解释 如 下 : 





grep 后 面 紧 跟 "inet addr" 是 为 了 单独 捕获 包含 ipv4 的 那 行内 容 ;'^.*addr:' 表 示 从 开头 到 addr: 的 字符 











另外 一 种 更 简便 的 方法 是 使 用 awk 编 辑 器 ， 命 令 如 下 : 








B， 将 它 蔡 换 为 空 ;'Bcast.*$' 表 示 从 Bcast 到 结 





尾 的 





ml 


有 ， 也 将 它 蔡 换 为 空 ， 然 后 就 只 剩 下 IPv4 地 址 





ifconfig eth0 | grep "inet addr:"|awk -F[:" "]+ '{print $4} 





好 





令 显 示 结果 如 下 : 





10.168.26.245 





awk-F[”] 意 为 以 冒号 或 空格 作为 分 隔 符 ， 然 后 打印 出 第 四 列 ， 可 能 有 些 朋友 会 有 疑惑 ， 为 什么 不 直接 以 如 下 方法 获取 IP 呢 ? 








ifconfig eth0 | grep "inet addr:" | awk -F: '{Print $2}"' 





大 家 可 以 看 下 这 种 方式 的 运行 结果 : 





10.168.26.245 Bcast 





所 以 还 需要 再 进行 一 步 操 作 ， 如 下 : 





ifconfig eth0 | grep "inet addr:" | awk -F: '{print $2}' | awk '{print $1}' 





7) 在 /etc/man.config 中 ， 将 有 man 的 设置 取出 ， 但 不 要 说 明 内 容 ( 即 在 抓 取 特定 内 容 的 同时 ， 去 掉 以 # 号 开头 的 内 容 和 空 行 ) 。 命 令 如 下 : 





cat /etc/man.config |grep 'MAN'|sed 's/#.*$//g'|sed '/^$/d' 








显示 结果 如 下 : 

MANPATH/usr/man 

MANPATH/usr/share/man 

MANPATH/usr/local/man 

MANPATH/usr/local/share/man 

MANPATH/usr/X11R6/man 

MANPATH MAP /bin /usr/share/man 
MANPATH MAP /sbin /usr/share/man 
MANPATH MAP /usr/bin /usr/share/man 

MANPATH MAP /usr/sbin /usr/share/man 
MANPATH MAP /usr/local/bin /usr/local/share/man 
MANPATH MAP /usr/local/sbin /usr/local/share/man 
MANPATH MAP /usr/X11R6/bin /usr/X11R6/man 
MANPATH MAP /usr/bin/X11 /usr/X11R6/man 

MANPATH MAP /usr/bin/mh /usr/share/man 
MANSECT 1:1p:8:2:3:3p:4:5:6;7:9:0p:71:1:p:O:1x:2x: 3x:dx:5x:6x: TBx 





国 训 不 一 定 出 现在 行 首 。 因 此 ，/ 失 */ 表 示 # 和 后 面 的 数据 (直到 行 尾 ) 是 一 行 注释 ， 将 它们 普 换 成 空 。/^$/ 表 示 空 行 ， 后 接 d 表 示人 删除 空 行 。 








希望 大 家 根据 这 个 例子 好 好 总 结 一 下 sed 的 经 典 用 法 ， 第 二 种 方法 其 实 是 awk 的 方法 ， 它 也 是 一 种 优秀 的 编辑 器 ， 现 多 用 于 对 文本 字段 中 列 的 截取 。 











以 上 就 是 sed 几 种 常见 的 语法 命令 ， 希 望 大 家 结合 下 面 的 实例 ， 多 在 自己 的 机 器 上 进行 演示 ， 尽 快 掌握 其 相关 用 法 。 








2.3.2 ”Sed 的 用 法 举例 说 明 


本 节 通 过 举例 说 明 工作 中 常用 的 sed 用 法 ， 如 下 所 示 。 





1.sed 的 基础 用 法 





1) 删除 行 首 空格 ， 命 令 如 下 所 示 : 




















sed 's/^[[:space:]]*//g' filename 





2) 在 行 后 和 行 前 添加 新 行 (这 里 的 pattern 指 输入 特定 正则 来 指定 的 内 容 ， 其 中 ，& 代 表 pattern。) 。 


特定 行 后 添加 新 行 的 命令 如 下 : 





sed 's/pattern/&\n/g' filename 





特定 行 前 添加 新 行 的 命令 如 下 : 





sed 's/pattern/\ng/g' filename 





3) 使 用 变量 替换 (使 用 双 引号 ) ， 代 码 如 下 : 





sed -e "s/$varl/$var2/g" filename 





4) 在 第 一 行 前 插入 文本 ， 代 码 如 下 : 





sed -i '1 i\ 插 入 字符 串 ' filename 





5) 在 最 后 一 行 插入 字符 串 ， 代 码 如 下 : 








sed -i '$ a\ 插 入 字符 串 ，' filename 





6) 在 匹配 行 前 插入 字符 串 ， 代 码 如 下 : 








sed -i '/pattern/i "插入 字符 串 "' filename 





7) 在 匹配 行 后 插入 字符 串 ， 代 码 如 下 : 











sed -i '/pattern/a "插入 字符 串 "' filename 





8) 删除 文本 中 空 行 和 空格 组 成 的 行 及 # 号 注释 的 行 ， 代 码 如 下 : 





grep -~v “^# filename | sed /“^[[:space:]]*$/d | sed /“$/d 





9) 通过 如 下 命令 将 目录 /home/yhc 下 面 所 有 文件 中 的 zhangsan 都 修改 成 list (注意 备份 原文 件 ) ， 代 码 如 下 : 





sed -i 's/zhangsan/list/g' “grep zhangsan -rl /modules. 





2.sed 结 合 正则 表达 式 批量 修改 文件 名 


笔者 在 工作 中 遇 到 了 更 改 文件 的 需求 ， 原 来 某 文件 test.txt 中 的 链接 地 址 为 : 





http://www.5566.com/produce/2007080412/315613171.shtml 
http://bz.5566.com/produce/20080808/311217.shtml 
http://gz.5566.com/produce/20090909/311412.shtml 





现 要 求 将 http://*.5566.com 更 改 为 /home/html/www.5566.com， 选 用 sed 结 合 正则 表达 示 解 决 之 ， 如 下 所 示 : 





sed -i 's/http.*\.com/home\/html\/www.5566.com/g' test.txt 





如 果 是 





用 纯 sed 命 令 ， 方 法 更 简单 ， 如 下 所 示 : 





sed -i 's@http://[^.]*.5566.com@/home/html/www.5566.com@g' test.txt 





@ 碌 cq 是 完全 支持 正则 表达 式 的 ， 在 正则 表达 式 里 ，[ 人 J] 表示 为 非 “.” 的 所 有 字符 ， 换 成 /也 可 以 。 另外，@ 是 sed 的 分 割 符 ， 我 们 也 可 以 用 其 他 符号 “，” 比 如“/”， 但 是 如 果 要 用 到 “/” 的 话 就 得 
用 “\/” 了 ， 所 以 笔者 工作 中 常用 的 方法 是 采用 @ 作 为 分 隔 符 ， 大 家 可 以 根据 自己 的 习惯 来 选择 。 


3. 在 配置 .conf 文 件 时 ， 为 相 邻 的 几 行 添加 # 号 


例如 ， 我 们 要 将 test.txt 文 件 中 的 31 ~ 36 行 加 上 # 号 ， 使 这 部 分 内 容 暂 时 失效 ， 这 该 如 何 实现 呢 ? 


在 vim 中 ， 可 以 执行 : 





:317 36 s/*/#/ 














使 





sed 将 更 加 方便 ， 如 下 所 示 : 





:31,36 s/*/#/ 





反之 ， 如 果 要 将 31 ~ 36 行 带 # 号 的 全 部 删除 ， 用 sed 该 如 何 实现 呢 ? 方法 如 下 : 





sed -i ‘31,36s/^#//' test.txt 





很 多 人 习惯 在 这 个 方法 后 面 带 个 g， 
的 都 会 被 换 掉 。 


4. 利 用 sed 分 析 日 志 


利用 sed 还 可 以 很 方便 地 分 析 





日 志 


这 里 的 9 代表 全 





局 (global) 的 意思 。 


| 











例如 ， 在 以 下 的 secure 日 志文 件 中 使 用 sed 抓 取 12:48:48 至 12:48:55 的 日 志 : 


有 实 上 ， 如 果 没 有 g， 则 表示 从 行 的 左 端 开始 匹配 ， 每 一 行 第 一 个 与 之 匹配 的 会 被 换 掉 ， 如 果 有 g， 则 表示 每 一 行 所 有 与 之 匹配 























Apr localhost sshd[16375] : pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
Apr localhost sshd[16375] : Failed password for root from 222.186.37.226 port 60700 ssh2 

Apr localhost sshd[16376]: Received disconnect from 222.186.37.226: 11: Bye Bye 

Apr localhost sshd[16377] : pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
Apr localhost sshd[16377] : Failed password for root from 222.186.37.226 port 60933 ssh2 

Apr localhost sshd[16378]: Received disconnect from 222.186.37.226: 11: Bye Bye 

Apr localhost sshd[16379] : pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
Apr localhost sshd[16379]: Failed password for root from 222.186.37.226 port 32944 ssh2 

Apr localhost sshd[16380]: Received disconnect from 222.186.37.226: 11: Bye Bye 

Apr localhost sshd[16381] : pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
Apr localhost sshd[16381]: Failed password for root from 222.186.37.226 port 33174 ssh2 

Apr localhost sshd[16382]: Received disconnect from 222.186.37.226: 11: Bye Bye 

Apr localhost sshd[16383]: pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
Apr localhost sshd[16383]: Failed password for root from 222.186.37.226 port 33474 ssh2 

Apr localhost sshd[16384]: Received disconnect from 222.186.37.226: 11: Bye Bye 

Apr localhost sshd[16385] : pam unix (sshd:auth) : authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=222.186.37.226 user=root 
则 可 以 利用 sed 截 取 日 志 命令 ， 如 下 所 示 : 














cat /var/log/secure | sed 


=-n '/12:48:48/,/12:48:55/p' 





脚本 结果 如 下 所 示 : 





Apr 23 12:48:48 localhost 
Apr 23 12:48:48 localhost 
Apr 23 12:48:55 localhost 


sshd[20570]: Accepted password for root from 220.249.72.138 port 27177 ssh2 


sshd[20570]: pam unix (sshd:session) : 


session opened for user root by (uid=0) 


sshd[20601] : Accepted password for root from 220.249.72.138 port 59754 ssh2 





sed 的 用 














法 还 有 很 多 ， 这 就 靠 大 家 在 工作 中 归纳 总 结 了 。 有 兴趣 的 朋友 还 可 以 多 了 解 下 awk 的 用 法 ， 我 们 在 工作 中 要 频繁 地 分 析 日 志文 件 ，awk+sed 是 比较 好 的 选择 ， 下 面 介 绍 awk 的 基本 使 























方法 。 


2.4 awk 的 基础 用 法 及 实用 举例 








下 面 我 们 首先 介绍 awk， 然 后 再 介绍 我 们 在 工作 中 常用 的 awk 用 法 。 














1.awk 工 具 简介 


























awk 是 一 个 强大 的 文本 分 析 工 具 ， 相 对 于 grep 的 查找 以 及 sed 的 编辑 ，awk 在 对 数据 进行 分 析 并 生成 报告 时 显得 尤为 强大 。 简 单 来 说，awk 就 是 把 文件 逐 行 的 读 入 ， 以 空格 为 默认 分 隔 符 将 每 行 切片 ， 切 
开 的 部 分 再 进行 各 种 分 析 处 理 。awk 的 名 称 源 于 它 的 创始 人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓 氏 的 首 个 字母 。 实 际 上 awk 也 拥有 自己 的 语言 : awk 程序 设计 语言 ， 三 位 创建 者 已 将 它 正 
式 定 义 为 “样式 扫描 和 处 理 语言 ”。 








它 允 许 我 们 创建 简短 的 程序 ， 这 些 程序 读 取 输入 文件 、 为 数据 排序 、 处 理 数据 、 对 输入 执行 计算 以 及 生成 报表 ， 还 有 无 数 其 他 的 功能 。 








2. 使 用 方法 











awk 的 命令 格式 如 下 : 





awk'pattern {action}' filename 

















其 中 ，pattern 就 是 要 表示 的 正则 表达 式 ， 它 表示 awk 在 数据 中 查找 的 内 容 ， 而 action 是 在 找到 匹配 内 容 时 所 执行 的 一 系列 命令 。 

















awk 语言 的 最 基本 功能 是 在 文件 或 字符 串 中 基于 指定 规则 浏览 和 抽取 信息 ， 在 抽取 信息 后 才能 进行 其 他 文本 操作 。 完 整 的 awk 脚本 通常 用 来 格式 化 文本 文件 中 的 信息 。 





通常 ，awk 是 以 文件 的 一 行为 处 理 单位 的 。awk 每 接收 文件 的 一 行 后 ， 就 会 执行 相应 的 命令 来 处 理 文本 。 
下 面 介绍 一 下 awk 程序 设计 模型 。 

awk 程序 由 三 部 分 组 成 ， 分 别 为 : 

“初始化: 处 理 输入 前 做 的 准备 ， 放 在 BEGIN 块 中 。 

“ 数据 处 理 : 处 理 输入 数据 。 


“ 收尾 处 理 : 处 理 输入 完成 后 要 进行 的 处 理 ， 放 到 END 块 中 。 





其 中 ， 在 “数据 处 理 ” 过 程 中 ， 指 令 被 写成 一 系列 模式 /动作 过 程 ， 模 式 是 用 于 测试 输入 行 的 规则 ， 以 此 确定 是 否 将 应 用 于 这 些 输入 行 。 


3.awk 调 用 方式 














awk 主要 有 三 种 调用 方式 。 








(1) 命令 行 方式 








命令 行 的 具体 方式 如 下 : 





awk [-F field-separator] 'commands' filename 





其 中 ，commands 是 真正 的 awk 命令 ，[-F 域 分 隔 符 ] 是 可 选 的 ，filename 是 待 处 理 的 文件 。 


在 awk 文件 的 各 行 中 ， 由 域 分 隔 符 分 开 的 每 一 项 称 为 一 个 域 。 通 常 ， 在 不 指名 -F 域 分 隔 符 的 情况 下 ， 默 认 的 域 分 隔 符 是 空格 。 








(2) 使 用 -f 选 项 调用 awk 程序 






































awk 人 允许 将 一 段 awk 程序 写 入 一 个 文本 文件 ， 然 后 在 awk 命令 行 中 用 -f 选 项 调用 并 执行 这 段 程序 ， 如 下 : 





awk -f awk-script-file filename 





其 中 ，-f 选 项 加 载 awk-script-file 中 的 awk 脚本 ，filename 表 示 文 件 名 。 








(3) 利用 命令 解释 器 调用 awk 程序 























利用 Linux 系 统 支持 的 命令 解释 器 功能 可 以 将 一 段 awk 程 序 写 入 文本 文件 ， 然 后 在 它 的 第 一 行 加 上 如 下 代码: 











#!/bin/awk -f£ 





4.awk 详 细 语 法 





与 其 他 Linux 命 令 一 样 ，awk 拥 有 自己 的 语法 : 


awk [ -F re] [parameterhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/...] ['prog'] [-f progfile] [in filehttp://www.hzc 





' -Frtre: 允许 awk 更 改 其 字段 分 隔 符 。 
“ parameter: 该 参数 帮助 为 不 同 的 变量 赋值 。 
“ prog: awk 的 程序 语句 段 。 这 个 语句 段 必须 用 单 引号 “和 ” 括 起 ， 以 防 被 shell 解 释 。 


前 面 已 经 提 到 过 这 个 程序 语句 段 的 标准 形式 ， 如 下 所 示 : 





awk "Pattern {action}' filename 




















其 中 pattern 参 数 可 以 是 egrep 正 则 表达 式 中 的 任何 一 个 ， 它 可 以 使 用 语法 /re/ 再 加 上 一 些 样式 匹配 技巧 构成 。 与 Sed 类似 ， 也 可 以 使 用 逗号 分 开 两 种 样式 以 选择 某 个 范围 。 






































action 参 数 总 是 被 大 括号 包围 ， 它 由 一 系列 awk 语句 组 成 ， 各 语句 之 间 用 分 号 分 隔 。awk 会 解释 它们 ， 并 在 pattern 给 定 的 样式 匹配 记录 上 执行 相关 操作 。 





























事实 上 ， 在 使 用 该 命令 时 可 以 省 略 pattern 和 action 其 中 的 一 个 ， 但 不 能 两 者 同时 省 略 ， 当 省 略 pattern 时 没有 样式 匹配 ， 表 示 对 所 有 行 (记录 ) 均 执行 操作 ， 省 略 action 时 执行 默认 的 操作 一 一 在 标准 
输出 上 显示 。 


“ -fprogfile: 允许 awk 调 用 并 执行 progfile 指 定 的 程序 文件 。progfile 是 一 个 文本 文件 ， 它 必须 符合 awk 的 语法 。 
“in_file: awk 的 输入 文件 ，awk 允 许 对 多 个 输入 文件 进行 处 理 。 值 得 注意 的 是 awk 不 修改 输入 文件 。 
如 果 未 指定 输入 文件 ，awk 将 接受 标准 输入 ， 并 将 结果 显示 在 标准 输出 上 。 
5.awk 脚 本 编写 
(1) awk 的 内 置 变量 
awk 的 内 置 变量 主要 有 : 
"FS: 输入 数据 的 字段 分 割 符 
“ RS: 输入 数据 的 记录 分 隔 符 
“OFS: 输出 数据 的 字段 分 割 符 


“ ORS: 输出 数据 的 记录 分 隔 符 ; 另 一 类 是 系统 自动 改变 的 ， 比 如 : NF 表示 当前 记录 的 字段 个 数 ，NR 表 示 当 前 记录 编号 等 。 

















举 个 例子 ， 可 用 如 下 命令 打印 passwd 中 的 第 1 个 和 第 3 个 字段 ， 这 里 用 空格 隔 开 ， 如 下 所 示 : 




















awk -FE ":"'{ print $1 "" $3 }' /tmp/passwd 





(2) pattern/action 模 式 

















awk 程序 部 分 采用 了 pattern/action 模 式 ， 即 针对 匹配 pattern 的 数据 ， 使 用 action 逻 辑 进 行 处 理 。 下 面 来 看 两 个 例子 。 








判断 当前 是 不 是 空格 ， 命 令 如 下 : 





/*$/ {print "This is a blank line!"} 





判断 第 5 个 字段 是 否 含有 “MA”， 命令 如 下 : 





$5 ~ /MA/ {print $1 "," $3} 





(3) awk 与 Shell 混 用 























因为 awk 可 以 作为 一 个 Shell 命 令 使 用 ， 因 此 awk 能 与 Shell 脚 本 程序 很 好 地 融合 在 一 起 ， 这 给 实现 awk 与 Shell 程 序 的 混合 编程 提供 了 可 能 。 实 现 混合 编程 的 关键 是 awk 与 Shell 脚 本 之 间 的 对 话 ， 换 言 
之 ， 就 是 awk 与 Shell 脚 本 之 间 的 信息 交流 : awk 从 Shell 脚 本 中 获取 所 需 的 信息 (通常 是 变量 的 值 ) 、 在 awk 中 执行 Shell 命 令 行 、Shell 脚 本 将 命令 执行 的 结果 送 给 awk 处 理 以 及 Shell 脚 本 读 取 awk 的 执行 结 
果 等 。 另 外 还 要 注意 一 下 在 Shell 脚 本 中 读 取 awk 变 量 的 方式 ， 一 般 会 通过 ”"$ 变 量 名 "的 方式 来 读 取 Shell 程 序 中 的 变量 。 





























这 里 还 可 以 使 用 awk-v 的 方式 让 awk 采用 Shell 变 量 ， 如 下 所 示 : 

















TIMEOUT=60 





awk-v time="$TIMEOUT"'BEGIN{print time}' 的 结果 显示 为 : 





60 


6.awk 内 置 变量 





















































awk 有 许多 内 置 变量 用 于 设置 环境 信息 ， 这 些 变量 可 以 被 改变 ， 下 面 给 出 了 工作 中 最 常用 的 一 些 awk 变 量 ， 如 下 所 示 : 









































“ ARGC: 命令 行 参数 个 数 。 

" ARGV: 命令 行 参数 排列 。 

“ ENVIRON: 支持 队列 中 系统 环境 变量 的 使 用 。 
:FILENAME : awk 浏览 的 文件 名 。 

“ FNR: 浏览 文件 的 记录 数 。 

“ FS: 设置 输入 域 分 隔 符 ， 等 价 于 命令 行 -选项 。 
“NF: 浏览 记录 的 域 的 个 数 。 

"NR: 已 读 的 记录 数 。 

: OFS: 输出 域 分 隔 符 。 

"ORS: 输出 记录 分 隔 符 。 

“ RS: 控制 记录 分 隔 符 。 


此 外 ，$0 变 量 是 指 整 条 记录 ，$1 表 示 当前 行 的 第 一 个 域 ，$2 表 示 当 前 行 的 第 二 个 域 ， 以 此 类 推 。 


7.awk 中 的 print 和 printf 


awk 中 同时 提供 了 print 和 printf 两 种 打印 输出 的 函数 。 
































其 中 print 函 数 的 参数 可 以 是 变量 、 数 值 或 字符 捉 。 字 符 捉 必须 用 双 引号 引用 ， 参 数 用 逗号 分 隔 。 如 果 没有 逗号 ， 参 数 就 串联 在 一 起 ， 无 法 区 分 。 这 里 ， 豆 号 的 作用 与 输出 文件 的 分 隔 符 作用 是 一 样 的 ， 
只 是 后 者 是 空格 而 已 。 





















































printf 函 数 ， 其 用 法 和 C 语 言 中 printf 基 本 相似 ， 可 以 格式 化 字符 串 ， 输 出 复杂 时 ，printf 的 结果 更 加 和 人 性 化 。 











使 用 示例 如 下 : 














awk -F ':' '{printf ("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME, NR,NF, $0)}' /tmp/passwd 
命令 结果 如 下 所 示 : 





filename:/tmp/passwd, linenumber:1,colums:7,1linecontent:root:x:0:0:root:/root:/bin/bash 

filename:/tmp/passwd, linenumber:2,colums:7,1linecontent:bin:x:1:1:bin:/bin:/sbin/nologin 

filename:/tmp/passwd, linenumber:3,colums:7,1linecontent:daemon:x:2:2:daemon:/sbin:/sbin/nologin 

filename:/tmp/passwd, linenumber:4,colums:7,1inecontent:adm: 4:adm: /var/adm: /sbin/nologin 

filename: /tmp/passwd, linenumber:5,columns:7,1inecontent:1p: :lp:/var/spool/lpd:/sbin/nologin 

filename: /tmp/passwd, linenumber:6,colums:7,1linecontent:sync:x sync:/sbin:/bin/sync 

filename:/tmp/passwd, linenumber:7,colums:7,1inecontent:shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown 
filename:/tmp/passwd, linenumber:8,columns:7,1linecontent:halt:x halt:/sbin:/sbin/halt 

filename: /tmp/passwd, linenumber:9,columns:7,1inecontent :mail: 12:mail:/var/spool/mail:/sbin/nologin 
filename:/tmp/passwd, linenumber:10,columns:7,1inecontent:uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin 
filename:/tmp/passwd, linenumber:11,columns:7,1inecontent:operator:x:11:0:operator:/root:/sbin/nologin 

filename: /tmp/passwd, linenumber:12,columns:7,1inecontent:games:x:12:100:games:/usr/games:/sbin/nologin 

filename: /tmp/passwd, linenumber:13,columns:7,1inecontent:gopher:x:13:30:gopher:/var/gopher:/sbin/nologin 
filename:/tmp/passwd, linenumber:14,columns:7,1inecontent:ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin 
filename:/tmp/passwd, linenumber:15,columns:7,1inecontent:nobody:x:99:99:Nobody:/:/sbin/nologin 

filename: /tmp/passwd, linenumber:16,columns:7,1inecontent:vcsa:x:69:69:virtual console memory owner:/dev:/sbin/nologin 
filename:/tmp/passwd, linenumber:17,columns:7,1inecontent:saslauth:x:499:76:Saslauthd user:/var/empty/saslauth:/sbin/nologin 
filename:/tmp/passwd, linenumber:18,columns:7,1inecontent:postfix:x:89:89::/var/spool/postfix:/sbin/nologin 

filename: /tmp/passwd, linenumber:19,columns:7,1inecontent:sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin 
filename: /tmp/passwd, linenumber:20,columns:7,1inecontent:vagrant:x:500:500:vagrant:/home/vagrant:/bin/bash 
filename:/tmp/passwd, linenumber:21,columns:7,1inecontent:vboxadd:x:498:1::/var/run/vboxadd:/bin/false 




















8. 工 作 示 例 


截取 出 init 中 PID 号 的 示例 命令 如 下 : 





ps aux | grep init | grep -v grep | awk '{print $2}"' 





截取 网 卡 ethp 的 ipv4 地 址 ， 示 例 命令 如 下 : 





ifconfig eth0 |grep "inet addr:" | awk -F: '{print $2}' |awk '{print $1}"' 





找 出 当前 系统 的 自 启动 服务 ， 示 例 命令 如 下 : 





chkconfig --list |grep 3:on | awk '{print $1}' 





取出 vmstart 第 四 项 的 平均 值 ， 示 例 命令 如 下 : 





wmstat 1 4 | awk '{sumt=$4} END{print sum/4} 

















以 | 为 分 隔 符 , 汇总 /yundisk/log/hadoop/ 下 的 Hadoop 第 九 项 日 志 并 打印 ， 示 例 命令 如 下 : 








cat /yundisk/1log/hadoop/hadoop clk *.log | awk -F '|' 'BEGIN{count=0} $2>0 
{count=count+$9} END {print count}' 




















另外 ， 应 用 程序 的 日 志 跟 系统 日 志 格 式 不 一 样 ， 取 时 间 范 围 的 话 不 建议 用 sed， 应 改 用 awk 的 方式 ， 部 分 脚本 内 容 如 下 所 示 : 


























# 取 当前 时 间 的 精准 分 钟 和 秒 数 ， 方 便 取 时 间 段 的 日 志 。 

timenew= LIC ALL="C" date +Sg%q/Sb/SG- 

timebefore= date --date='5 minutes ago' +%H:%M:%S. 

timebefore awk=[Stimenew:Stimebefore 

nowtime awk=[Stimenew:Snowtime 

cat /data/data/nginx access.log | awk ' $4 >= "'${timebefore awk}'" && $4 <= 
"i${nowtime awk}'™" ' 





更 多 awk 的 内 容 请 大 家 参考 文档 : http://blog.pengduncun.com/? p=876。 


2.5 ”Shell 基 础 正则 表达 式 举例 











正则 表达 式 只 是 一 种 表示 法 ， 只 要 工具 支持 这 种 表示 法 ， 那 么 该 工具 就 可 以 处 理 正则 表达 式 的 字符 串 。awk、sed 和 grep 都 支持 正则 表达 式 ， 也 正 是 因为 它们 支持 正则 表达 式 ， 所 以 它们 处 理 文本 和 字 
符 串 的 功能 才 如 此 强大 。 下 面 笔者 以 grep 来 举例 说 明 Shell 正 则 表达 式 的 用 法 。 








grep 工 具 的 语法 格式 为 : 





grep -[acinvE] ' 搜 索 内 容 串 ' filename 








其 中 : 
“ -a: 表示 以 文本 文件 方式 搜索 。 


“ -c: 表示 计算 找到 符合 行 的 次 数 。 


ji; 表示 忽略 大 小 写 。 

. -n: 表示 顺便 输出 行 号 。 

. -v: 表示 反 向 选择 ， 即 找到 没有 搜索 字符 串 的 行 。 
. 也 : 使 grep 支 持 扩展 正则 表达 式 ， 作 用 等 同 于 egrep。 


另外 ， 搜 索 内 容 串 也 可 以 使 用 正则 表达 式 ， 下 面 来 看 几 个 示例 ， 这 里 的 测试 文件 为 鸟 哥 的 regular_express.txt， 下 载 地 址 为 : http://linux.vbird.org/linux_basic/0330regularex/regular_express.txt, 
文件 内 容 如 下 所 示 : 





"Open Source" is a good mechanism to develop programs. 
apple is my favorite food. 

Football game is not use feet only. 

this dress doesn't fit me. 

However, this dress is about $ 3183 dollars. 
GNU is free air not free beer. 

Her hair is very beauty. 

I can't finish the test. 

Oh! The soup taste good. 

motorcycle is cheap than car. 

This window is clear. 

the Symbol '*' is represented as start. 

Oh! My god! 

The gd software is a library for drafting programs. 
You are the best is mean you are the no. 1. 
The world <Happy> is the same with "glad". 

I like dog. 

google is the best tools for search keyword. 
goooooogle yes! 

go! go! Let's go. 

# I am VBird 





1. 搜 索 有 或 没有 the 的 行 


搜索 有 the 的 行 并 输出 行 号 ， 如 下 所 示 : 





grep -n 'the' regular express.txt 





命令 结果 如 下 所 示 : 





8:I can't finish the test. 

12:the symbol '*' is represented as start. 
15:You are the best is mean you are the no. 1. 
16:The world <Happy> is the same with "glad". 
18:google is the best tools for search keyword. 





搜索 没有 the 的 行 并 输出 行 号 ， 如 下 所 示 : 





grep -nv "the' regular express.txt 





命令 结果 如 下 所 示 : 





:"Open Source" is a good mechanism to develop programs. 
:apple is my favorite food. 

:Football game is not use feet only. 

:this dress doesn't fit me. 

:However, this dress is about $ 3183 dollars. 

:GNU :is free air not free beer. 

:Her hair is very beauty. 

:Oh! The soup taste good. 

10:motorcycle is cheap than car. 

11:This window is clear. 

13:0h!My god! 

14:The gd software is a library for drafting programs. 
17:I like dog. 

19:gooooocogle yes! 

20:g0! go! Let's go. 

21:# I am VBird 
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2. 利 用 [搜索 集合 字符 











[表示 其 中 的 某 一 个 字符 ， 例 如 [ade] 表 示 a 或 d 或 e， 下 面 的 命令 可 以 选择 输出 包含 tast、tdst 或 test 的 行 数 ， 如 下 所 示 : 





grep -n 't[ade]st' regular express.txt 





命令 结果 如 下 所 示 : 





8:I can't finish the test. 
9:0h! the soup taste good! 














此 外 ， 还 可 以 用 ^ 符 号 做 [内 的 前 缀 ， 表 示 除 [内 字符 之 外 的 字符 。 比 如 ， 要 搜索 oo 前 没有 9g 的 字符 串 所 在 的 行 ， 就 可 以 使 用 '[^gjloo' 作 为 搜索 字符 串 ， 如 下 所 示 : 











grep -n '[^g]oo' regular express.txt 





命令 结果 如 下 所 示 : 





2:apple is my favorite food. 

3:Football game is not use feet only. 
18:google is the best tools for search keyword. 
19:goooooogle yes! 











[0 内 也 可 以 用 范围 来 表示 ， 比 如 [a-z] 表 示 小 写字 母 ，[0-9] 表 示 0 ~ 9 的 数字 ，[A-Z] 表 示 大 写字 母 。[a-zA-Z0-9] 表 示 所 有 数字 与 英文 字符 。 当 然 也 可 以 配合 ^ 来 排除 字符 。 














搜索 包含 数字 的 行 ， 示 例如 下 : 





grep -n '[0-9]' regular express.txt 





命令 结果 如 下 所 示 : 





5:However ,this dress is about $ 3183 dollars. 
15:You are the best is menu you are the no.1. 





3. 行 首 与 行 尾 字符 ^$ 





符号 ^ 表 示 行 的 开头 ，$ 表 示 行 的 结尾 (不 是 字符 ， 是 位 置 ) ， 那 么 “^$ ”表示 空 ， 因 为 只 有 行 首 和 行 尾 。 这 里 的 符号 ^ 与 [里 面 所 使 用 的 ^ 意 义 不 同 ， 它 表示 的 是 符号 ^ 后 面 的 串 是 在 行 的 开头 。 比 如 搜 
索 the 在 开头 的 行 ， 命 令 如 下 : 


























grep -n ' the' regular express.txt 





命令 结果 如 下 所 示 : 





12:the symbol '*' is represented as star. 





4. 搜 索 以 小 写字 母 开 头 的 行 
命令 如 下 : 





grep -n '^[a-z]' regular express.txt 





命令 结果 如 下 所 示 : 





2:apple is my favorite food. 

4:this dress doesn't fit me. 

10:motorcycle is cheap than car. 

12:the Symbol '*' is represented as star, 
18:google is the best tools for search keyword. 
19:gooooocogle yes! 

20:g0! go! Let's go. 





5. 搜 索 开头 不 是 英文 字母 的 行 


全 


令 如 下 : 





grep -n '^[^a-zA-2]' regular express.txt 





命令 结果 如 下 所 示 : 





1:"Open Source" is a good mechanism to develop programs. 
21:#I am VBird 





$ 表 示 它 前 面 的 串 是 在 行 的 结尾 ， 如 \.' 表 示 点 (.) 在 一 行 的 结尾 。 


搜索 末尾 是 点 (.) 的 行 ， 如 下 所 示 : 





grep -n '\.$' regular express.txt 

















点 (.) 是 正则 表达 式 的 特殊 符号 ， 所 以 要 用 \ 进 行 转 义 ,命令 显示 结果 如 下 : 














:"Open Source" is a good mechanism to develop programs. 
:apple is my favorite food. 

:Football game is not use feet only. 

:this dress doesn't fit me. 

:However, this dress is about $ 3183 dollars. 

:GNU is free air not free beer. 

:Her hair is very beauty. 

:I can't finish the test. 

:Oh! The soup taste good. 

:motorcycle is cheap than car. 

:This window is clear. 

:the symbol '*' is represented as start. 

:The gd software is a library for drafting programs. 
:You are the best is mean you are the no. 1. 

:The world <Happy> is the same with "glad". 

:I like dog. 

:google is the best tools for search keyword. 

:go! go! Let's go. 


oo ~ oo 性 


上 
© 


FF 
DP 


RH 
口 oo ~ ao w 





6 .搜索 空 行 





'^$ 即 为 表示 只 有 行 首 行 尾 的 空 行 。 


搜索 空 行 的 命令 如 下 : 





grep -n '^$' regular express.txt 











命令 结果 如 下 所 示 : 
22 

7. 搜 索 非 空 行 
命令 如 下 : 





grep -n '^$' regular express.txt 





显示 结果 如 下 所 示 : 





:"Open Source" is a good mechanism to develop programs. 
:apple is my favorite food. 

:Football game is not use feet only. 

:this dress doesn't fit me. 

:However, this dress is about $ 3183 dollars. 
:GNU is free air not free beer. 

:Her hair is very beauty. 

:I can't finish the test. 

:Oh! The soup taste good. 

10:motorcycle is cheap than car. 

11:This window is clear. 

12:the Symbol '*' is represented as start. 
13:0h!My god! 

14:The gd software is a library for drafting programs. 
15:You are the best is mean you are the no. 1. 
16:The world <Happy> is the same with "glad". 
17:I like dog. 

18:google is the best tools for search keyword. 
19:goooooogle yes! 

20:go! go! Let's go. 

21:# I am VBird 


oo own 必 w 





8. 正 则 中 的 重复 字符 “*” 与 任意 一 个 字符 点 “.” 





在 Bash 中 ，* 代 表 通 配 符 ， 用 于 表示 任意 个 字符 ， 但 是 在 正则 表达 式 中 ，* 表 示 有 0 个 或 多 个 某 个 字符 ， 请 大 家 注意 区 分 一 下 。 





例如 ，oo* 表 示 第 一 个 o 一 定 存在 ， 第 二 个 o 可 以 有 一 个 或 多 个 ， 也 可 以 没有 ， 因 此 代表 至 少 有 一 个 o0， 点 “.” 代 表 一 个 任意 字符 ， 必 须 存在 。 























在 下 面 的 例子 中 ，g? ? d 可 以 用 'ghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach_ebook/uncompressed/17230/OEBPS/Text/..d' 表 示 ， 如 good、gxxd、gabd 都 
村 合 g9? ? d 形 式 。 





grep -n 'ghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..d' regular express.txt 





显示 结果 如 下 所 示 : 





1:"Open Source" is a good mechanism to develop programs. 
9:0h! The soup taste good. 
16:The world <Happy> is the same with "glad". 





搜索 有 两 个 o 以 上 的 字符 串 ， 命 令 如 下 : 





grep -n 'ooox* ' regular express.txt 





显示 结果 如 下 所 示 : 





:"Open Source" is a good mechanism to develop programs. 
:apple is my favorite food. 

:Football game is not use feet only. 

:Oh! the soup taste good! 

18:google is the best tools for search keyword. 
19:goooooogle yes! 


‘WNP 





grep-n'oo0o*'regular_express.txt 表 示 前 两 个 0 一 定 存 在 ， 第 三 个 o 可 以 没有 ， 也 可 以 有 多 个 。 





搜索 以 g 开 头 和 结尾 ， 中 间 是 至 少 一 个 o 的 字符 串 ， 如 gog、goog、gooog 等 。 示 例 命令 如 下 : 





grep -n 'goo*g' regular express.txt 





显示 结果 如 下 所 示 : 





18:google is the best tools for search keyword. 
19:goooooogle yes! 





搜索 以 g 开 头 和 结尾 的 字符 串 所 在 的 行 ， 示 例 命令 如 下 : 








grep -n 'g.*g' regular express.txt 





显示 结果 如 下 所 示 : 





1:"Open Source" is a good mechanism to develop programs. 
14:The gd software is a library for drafting programs. 
18:google is the best tools for search keyword. 
19:goooooogle yes! 

20:g0! go! Let's go. 





9. 限 定 连续 重复 字符 的 范围 时 使 用 人 














符号 “.”、“*” 只 能 限制 0 个 或 多 个 字符 ， 如 果 要 确切 地 限制 字符 的 重复 数量 ， 就 要 用 { 范 围 } 这 种 方式 。 范 围 是 数字 ， 用 逗号 隔 开 ， 比 如 “2，5” 表 示 2 ~ 5 个 ，2 表 示 2 个 ，“2，” 表 示 2 到 更 多 个 。 














人 @ 台 于 中 在 SHEIL 中 有 特殊 意义 ， 因 此 作为 正则 表达 式 用 的 时 候 要 用 \ 转 义 一 下 。 


搜索 包含 两 个 o 的 字符 串 的 行 ， 示 例 命令 如 下 : 





grep -n 'o\{2\}' regular express.txt 





显示 结果 如 下 所 示 : 





1:"Open Source" is a good mechanism to develop programs. 
2:apple is my favorite food. 
3:Football game is not use feet only. 


9:0h! the soup taste good! 
18:google is the best tools for search keyword. 
19:goooooogle yes! 








搜索 9 后面 跟 2 ~ 5 个 o， 再 跟 一 个 g 的 字符 串 的 行 ， 示 例 命令 如 下 : 








grep -n 'go\{2,5\}g' regular express.txt 





显示 结果 如 下 : 





18:google is the best tools for search keyword. 








搜索 包含 g， 且 后 面 跟 2 个 以 上 的 0， 再 跟 g 的 行 ， 示 例 命令 如 下 : 


回 














grep -n 'go\{2,\}g' regular express.txt 





显示 结果 如 下 : 





18:google is the best tools for search keyword. 
19:goooooogle yes! 





10. 符 号 ^ 也 可 以 放 在 0 中 内 容 的 后 面 


[0 中 的 符号 ^ 表 示 否 定 的 意思 ， 也 可 以 放 在 [0 中 内 容 的 后 面 。'[^a-z\.! ^-] 表示 没有 小 写字 母 、 没 有 点 (.) 、 没 有 感叹 号 (! ) 、 没 有 空格 、 没 有 -的 串 ， 注 意 [] 里 面 有 个 小 空格 。 另 外 Shell 里 面 的 反 向 
选择 为 [! range]， 而 在 正则 表达 式 里 则 是 [^range]， 希 望 大 家 注意 区 分 一 下 。 


11. 扩 展 正则 表达 式 egrep 
扩展 正则 表达 式 是 在 基础 正则 表达 式 上 添加 了 几 个 特殊 符号 ， 它 令 某 些 操作 更 加 方便 。 


比如 ， 要 去 除 空白 行 和 开头 为 # 的 行 ， 可 以 使 用 如 下 命令 : 








grep -V '^$' regular express.txt | grep ~-v '^#' 





显示 结果 如 下 : 





"Open Source" is a good mechanism to develop programs. 
apple is my favorite food. 

Football game is not use feet only. 

this dress doesn't fit me. 

However, this dress is about $ 3183 dollars. 

GNU is free air not free beer. 

Her hair is very beauty. 

I can't finish the test. 

Oh! The soup taste good. 

motorcycle is cheap than car. 

This window is clear. 

the Symbol '*' is represented as start. 

Oh! My god! 

The gd software is a library for drafting programs. 
You are the best is mean you are the no. 1. 

The world <Happy> is the same with "glad". 

I like dog. 

google is the best tools for search keyword. 
goooooogle yes! 

go! go! Let's go. 











然而 使 用 支持 扩展 正则 表达 式 的 egrep 与 扩展 特殊 符号 |， 则 会 方便 很 多 。 











wep 只 支持 基础 表达 式 ， 而 egrep 支 持 扩 展 ， 其 实 egrep 是 grep- 的 别名 ， 因 此 grep- 昌 支持 扩展 正则 表达 式 。 


egrep 用 法 举例 如 下 : 





egrep -v '^$|^#' regular express.txt 





命令 结果 如 下 所 示 : 





"Open Source" is a good mechanism to develop programs. 
apple is my favorite food. 

Football game is not use feet only. 

this dress doesn't fit me. 

However, this dress is about $ 3183 dollars. 

GNU is free air not free beer. 

Her hair is very beauty. 

I can't finish the test. 

Oh! The soup taste good. 

motorcycle is cheap than car. 

This window is clear. 

the Symbol '*' is represented as start. 

Oh! My god! 

The gd software is a library for drafting programs. 
You are the best is mean you are the no. 1. 

The world <Happy> is the same with "glad". 

I like dog. 

google is the best tools for search keyword. 
goooooogle yes! 

go! go! Let's go. 





这 里 的 符号 | 表示 或 的 关系 。 即 满足 ^$ 或 ^# 的 字符 串 。 














熟悉 掌握 Shell 正 则 表达 式 ， 可 以 提高 我 们 的 工作 效率 ， 特 别 在 文本 处 理 和 日 志 处 理 的 相关 工作 上 面 。 


2.6 _ Shell 开发 中 应 该 掌握 的 系统 知识 点 


在 笔者 利 























1.Shell 多 进程 并 发 


如 果 逻 辑 控制 在 时 间 上 重 于 ， 那 么 它们 就 是 并 发 的 (concurrent) ， 这 种 常见 的 现象 称 为 并 发 (concurrency) ， 出 现在 计算 机 系统 的 许多 不 同 




















使 用 应 用 级 并 发 的 应 用 程度 称 之 为 并 发 程序 。 现 代 操 作 系 统 提 供 了 三 种 基本 的 构造 并 发 程度 的 方法 ， 如 下 所 示 : 






































Shell 进 行 DevOps 的 实际 开发 工作 中 发 现 ， 很 多 时 候 需要 掌握 及 深入 一 些 系统 的 知识 点 ， 这 样 才能 更 好 地 结合 业务 与 专业 知识 点 ， 结 合 实际 情况 ， 实 现 工 作 需求 。 





菩 
加 
上 











1) 进程 。 用 这 种 方法 ， 每 个 逻辑 控制 流 都 是 一 个 进程 ， 由 内 核 来 调度 和 维护 。 因 为 进程 有 独立 的 虚拟 地 址 空间 ， 想 要 和 其 他 流通 信 ， 控 制 流 必须 使 用 进程 间 通 信 (IPC) 。 





























2) MO 多 路 复 用 。 这 种 形式 的 并 发 ， 应 用 程序 在 一 个 进程 的 上 下 文中 显示 调度 自己 的 逻辑 流 。 逻 辑 流 被 模拟 为 “状态 机 ” ， 数 
程序 是 一 个 单独 的 进程 ， 所 以 所 有 的 流 都 共享 一 个 地 址 空间 。 









































届 到 达 文 件 描述 符 后 ， 主 程序 显示 地 从 一 个 状态 转换 到 另 























一 个 状态 。 因 为 





3) 线程 。 线 程 是 运行 在 一 个 单一 进程 上 下 文中 的 逻辑 流 ， 由 内 核 进 行 调度 。 线 程 可 以 看 做 是 进程 和 MO 多 路 复 用 的 合体 ， 像 进程 一 样 由 内 核 调度 ， 像 /O 多 路 复 用 一 样 共享 一 个 虚拟 地 址 空间 。 


默认 情况 下 ，Shell 脚 本 中 的 命令 是 串 行 执 









































正常 的 程序 echo_hello.sh 如 下 所 示 : 


#!/bin/bash 
for ((i=0;i<5;i++));do 


{ 


sleep 3 
echo "hello,world">>aa && echo "done!" 


} 


done 


cat aa | wc -1 


rm aa 








我 们 











time 命 令 统计 此 脚本 的 执行 时 间 ， 结 果 如 下 所 示 : 





done! 
done! 
done! 
done! 
done! 
5 


real0m15.016s 
User0m0 .004s 
sys0m0.005s 


并 发 执行 的 代码 如 下 所 示 : 





#!/bin/bash 
for ((i=0;i<5;i++));do 


{ 


sleep 3 
echo “hello,world">>aa && echo "done!" 


cat aa | wc -1 


rm aa 














行 的， 必须 等 到 前 一 条 命令 执行 完 后 才 执 行 接 下 来 的 命令 ， 但 是 如 果 有 一 大 批 的 命令 祝 








要 执行 ， 而 且 互相 没有 影响 的 情况 下 ， 那 么 就 要 使 用 命 























令 的 并 发 执行 








wait 命 令 的 一 个 重要 用 途 就 是 在 Shell 的 并 发 编程 中 ， 可 以 在 Shell 脚 本 中 启动 多 个 后 台 进 程 ( 使 用 &) ， 然 后 调用 wait 命 令 ， 等 待 所 有 后 台 进 程 都 运行 完毕 后 再 继续 向 下 执行 。 我 们 继续 用 time 命 令 进行 
统计 ， 结 果 如 下 所 示 : 


done! 
done! 
done! 
done! 
done! 
10 






































real0m3.007s 
user0m0 .002s 
syYys0m0 .007s 


当 多 个 进程 可 能 会 对 同样 的 数据 执行 操作 时 ， 这 些 进程 需要 保证 其 他 进程 没有 在 操作 ， 以 免 损 坏 数据 。 通 常 ， 这 样 的 进程 会 使 
果 检 测 到 那个 文件 存在 则 认为 有 操作 同样 数据 的 进程 在 工作 。 这 样 操作 存在 一 个 问题 ， 如 果 进程 不 小 心意 外 死 























2.Shell 脚 本 中 执行 男 一 个 Shell 脚 本 








运行 Shell 脚 本 时 ， 有 以 下 两 种 方式 可 调用 外 部 的 脚本 ， 即 exec 方 式 和 source 方 式 。 


1) exec 方 式 : 使 用 exec 调 用 脚本 ,被 执行 的 脚本 会 继承 当前 shell 的 环境 变量 。 但 事实 上 exec 产 生 了 新 的 进程 ， 它 会 把 主 Shell 的 进程 资源 占用 并 替换 脚本 内 容 ， 继 承 原 



























































下 的 内 容 不 会 执行 。 


2) source 方 式 : 使 用 source 或 者 “.” 调 用 外 部 脚本 ， 不 会 产生 新 的 进程 ， 继 承 当前 Shell 环 境 变量 ,而且 被 调用 的 脚本 运行 结束 后 



































的 内 容 复 制 过 来 直接 执行 。 执 行 完毕 后 原 主 Shell 继 续 运 行 。 





























一 个 “ 锁 文 件 ”， 也 就 是 建立 一 个 文件 来 告诉 别 的 进程 








亡 了 ， 没 有 清理 掉 那 个 锁 文 件 ， 那 么 只 能 由 用 户 手动 清理 了 。 














它 拥有 的 环境 变量 和 声明 变量 会 被 当前 Shell 保 留 ， 








3) fork 方 式 : 直接 运行 脚本 ,会 以 当前 shell 为 父 进 程 ， 产 生 新 的 进程 ， 并 继承 主 脚本 的 环境 变量 和 声明 变量 。 执 行 完毕 后 ， 主 脚本 不 会 保留 其 环境 变量 和 声明 变量 。 
























































自己 在 运行 ， 如 





EShell 的 PID 号 ， 即 原 主 Shel| 剩 














类 似 将 调用 脚本 











工作 中 推荐 使 用 source 方 式 来 调用 外 部 的 Shell 脚 本 ， 稳 定性 高 ， 不 会 出 一 些 诡异 的 问题 和 bug， 影 响 主 程序 的 业务 逻辑 (大 家 也 可 以 参考 下 Linux 系 统 中 的 Shell 脚 本 ， 如 /etc/init.d/network 等 ， 基 本 
































上 都 是 采用 这 种 处 理 方 式 ) 。 
3.flock 文 件 锁 
Linux 中 的 例 行 性 工作 排 程 Crontab 会 定时 执行 一 些 脚 本 ， 但 脚本 的 执行 时 间 往 往 无 法 控制 ， 当 脚本 执行 时 间 过 长 ， 可 能 会 导致 上 一 次 任务 的 脚本 还 没 执行 完 ， 下 一 次 任务 的 脚本 又 开始 执行 的 问题 。 这 


种 情况 下 可 能 会 出 现 一 些 并 发 问题 ， 严 重 时 会 导致 出 现 脏 数据 或 性 能 瓶颈 的 恶性 循环 。 





























通过 使 用 flock 建 立 排 它 锁 可 以 规避 这 个 问题 ， 如 果 一 个 进程 对 某 个 加 以 独占 锁 (排他 锁 ) ， 则 其 他 进程 无 法 加 锁 ， 可 以 选择 等 待 超时 或 马上 返回 。 脚 本 file_ lock.sh 内 容 如 下 : 











#!/bin/bash 
echo 
echo "start at ‘date '+%Y-%m-%d %H:%M:%$S'. http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..." 
sleep 140s 

echo "finished at ‘date '+%Y-%m-%d %H:SM:%S'. http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..." 








创建 定时 任务 : 测试 排 它 锁 





#crontab -e 
*/1 **** flock -xn /dev/shm/test.lock -c "sh /home/yuhongchun/file lock.sh >> /tmptest tmp.1log" 








每 隔 一 分 钟 执行 一 次 该 脚本 ， 并 将 输出 信息 写 入 到 /tmp/test_tmp.log，flock 用 到 的 选项 也 简单 介绍 下 ， 如 下 所 示 : 








-xy/，--exclusive: 获得 一 个 独占 锁 
-ny，--nonblock: 如 果 没 有 立即 获得 锁 ， 直 接 失 败 而 不 是 等 待 
-cy，--comrmand: 在 shell 中 运行 一 个 单独 的 命令 





查看 输出 日 志 如 下 : 





start at 2017-02-25 11: http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
finished at 2017-02-25 21 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 


start at 2017-02-25 11; 
finished at 2017-02-25 
start at 2017-02-25 11 
finished at 2017-02-25 
start at 2017-02-25 11: 
finished at 2017-02-25 
start at 2017=02=-25 11s 
finished at 2017-02-25 
tart at 2017=02-25 11: 
finished at 2017-02-25 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
:22 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 


http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
21 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
1:21 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
:21 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
:21 http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 





























大 家 观察 下 输出 日 志 ， 诸 如 #11:34:01 和 11:35:01 的 时 间 点 应 该 是 要 启动 定时 任务 ， 但 由 于 无 法 获取 锁 ， 最 终 以 失败 而 退出 执行 ， 直 到 11:36:01 才 获取 到 锁 ， 然 后 正常 执行 脚本 。 

















工作 中 如 果 有 类 似 需求 ， 可 以 参考 下 这 种 Crontab 写 法 。 
4.Linux 中 的 信号 及 捕获 


Linux 下 查看 支持 的 信号 列表 ， 命 令 如 下 所 示 : 











kill-1 

结果 如 下 所 示 : 

1) SIGHUP 2) SIGINT 3) SIGQUIT 4) SIGILL 

5) SIGTRAP 6) SIGABRT 7) SIGBUS 8) SIGFPE 

9) SIGKILL 10) SIGUSR1 11) SIGSEGV 12) SIGUSR2 
13) SIGPIPE 14) SIGALRM 15) SIGTERM 17) SIGCHLD 
18) SIGCONT 19) SIGSTOP 20) SIGTSTP 21) SIGTTIN 
22) SIGTTOU 23) SIGURG 24) SIGXCPU 25) SIGXFSZ 
26) SIGVTALRM 27) SIGPROF 28) SIGWINCH 29) SIGIO 


SIGRTMIN+2 37) SIGRTMIN+3 38) SIGRTMIN+4 39) SIGRTMIN+5 
SIGRTMIN+6 41) SIGRTMIN+7 42) SIGRTMIN+8 43) SIGRTMIN+9 
SIGRTMIN+10 45) SIGRTMIN+11 46) SIGRTMIN+12 47) SIGRTMIN+13 
SIGRTMIN+14 49) SIGRTMIN+15 50) SIGRTMAX-14 51) SIGRTMAX-13 
SIGRTMAX-12 53) SIGRTMAX-11 54) SIGRTMAX-10 55) SIGRTMAX-9 
SIGRTMAX-8 57) SIGRTMAX-7 58) SIGRTMAX-6 59) SIGRTMAX-5 
SIGRTMAX-4 61) SIGRTMAX-3 62) SIGRTMAX-2 63) SIGRTMAX-1 


) 
) 
) 
) 
) 
) 
2 
30) SIGPWR 31) SIGSYS 34) SIGRTMIN 35) SIGRTMIN+1 
) 
) 
) 
) 
) 
2 
) 
) SIGRTMRAX 





工作 中 常见 信号 的 详细 说 明 : 





1) SIGHUP: 本 信号 在 用 户 终端 连接 (正常 或 非 正常 ) 结束 时 发 出 ， 通 常 是 在 终端 的 控制 进程 结束 时 ， 通 知 同一 Session 内 的 各 个 作业 ， 这 时 它们 与 控制 终端 不 再 关联 。 登 录 Linux 时 ， 系 统 会 分 配给 登 
录用 户 一 个 终端 3 (Session) 。 在 这 个 终端 运行 的 所 有 程序 ， 包 括 前 台 进程 组 和 后 台 进程 组 ， 一 般 都 属于 这 个 Session。 当 用 户 退 出 Linux 登 录 时 ， 前 台 进程 组 和 后 台 有 对 终端 输出 的 进程 将 会 收 到 SIGHUP 



























































信号 。 这 个 信号 的 默认 操作 为 终止 进程 ， 因 此 前 台 进 程 组 和 后 台 有 终端 输出 的 进程 就 会 中 止 。 对 于 与 终端 脱离 关系 的 守护 进程 ， 这 个 信号 用 于 通知 它 重新 读 取 配置 文件 。 




















2) SIGINT: 程序 终止 (interrupt) 信号 ， 在 用 户 键入 INTR 字 符 (快捷 键 通常 为 Ctrl+C) 时 发 出 。 

















3) SIGQUIT: 和 SIGINT 类 似 , 但 由 QUIT 字 符 (快捷 键 通常 为 Ctrl+/) 控制 。 进 程 在 因 收 到 SIGQUIT 退 出 时 会 产生 Core 文 件 ， 在 这 个 意义 上 类 似 于 一 个 程序 错误 信号 。 











4) SIGFPE: 在 发 生 致命 的 算术 运算 错误 时 发 出 。 不 仅 包 括 浮 点 运算 错误 ， 还 包括 溢出 及 除数 为 0 等 其 他 所 有 的 算术 错误 。 











5) SIGKILL: 用 来 立即 结束 程序 的 运行 。 本 信和 号 不 能 被 阻塞 、 处 理 和 忽略 。 





6) SIGALRM : 时 钟 定时 信号 ， 计 算 的 是 实际 时 间或 时 钟 时 间 。 





7) ~14) : 略 。 























15) SIGTERM : 程序 结束 (terminate) 信号 ,与 SIGKILL 不 同 的 是 该 信号 可 以 被 阻塞 和 处 理 。 通 常用 来 要 求 程序 自己 正常 退出 。Shell 命 令 kill 缺 省 产生 这 个 信号 。 


16) ~64) : 略 。 

















Linux 中 用 trap 来 捕获 信号 ，trap 是 一 个 Shell 内 建 命令 ， 它 用 于 在 脚本 中 指定 信号 的 处 理 方式 。 比 如 ， 按 Ctrl+ 会 使 脚本 终止 执行 ， 实 际 上 系统 发 送 了 SIGINT 信 号 给 脚本 进程 ， 
方式 就 是 退出 程序 。 如 果 要 在 按 Ctrl+C 时 不 退出 程序 ， 那 么 就 得 使 用 trap 命 令 指 定 一 人 SIGINT 的 处 理 方式 了 。 






































trap 命 令 不 仅仅 处 理 Linux 信 号 ， 还 能 对 脚本 退出 、 调 试 、 错 误 、 返 回 等 情况 指定 处 理 方式 ， 其 命令 格式 如 下 所 示 : 


SIGINT 信 号 的 默认 处 理 





trap "commands" signals 


当 Shell 接 收 到 signals 指 定 的 信号 时 ， 执 行 commands 命 令 。 


工作 中 举例 说 明 ， 部 分 Shell 脚 本 逻辑 摘录 如 下 : 


# 此 临时 文件 Stmp_file 的 作用 是 防止 多 个 脚本 同时 产生 逻辑 错误 。 如 果 出 现 中 止 进程 的 情况 ， 捕 捉 异 常 信号 ， 清 理 临时 文件 。 另 外 ， 程 序 在 正常 退出 时 (包括 终端 正常 退出 ) 也 清理 此 临时 文件 
trap "echo ' 程 序 被 中 止 ， 开 始 清理 临时 文件 ';rm -rf Stmp_filerexit" 1 2 3 

rm -rf $tmp file 

trap "rm -rf $tmp file" exit 





5. 什 么 是 并 行 (parallellism) 





就 当前 的 计算 机 技术 而 言 ， 目 前 大 部 分 语言 都 能 够 满足 并 发 执行 ， 但 是 现在 的 多 核 CPU 或 者 多 CPU 下 开始 产生 并 行 的 概念 。 











总 体 概念 : 在 单 CPU 系 统 中 ， 系 统 调度 在 某 一 时 刻 只 能 让 一 个 线程 运行 ， 虽 然 这 种 调试 机 制 有 多 种 形式 (大 多 数 是 时 间 片 轮 巡 为 主 ) ， 但 无 论 如 何 ， 要 通过 不 断 切换 需要 运行 的 线程 让 其 运行 的 方式 就 
称 为 并 发 (concurrent) 。 而 在 多 CPU 系统 中 ， 这 种 可 以 同时 让 两 个 以 上 线程 同时 运行 的 方式 叫做 并 行 (parallel) 。 





并 发 编程 : “并 发 ”在 微观 上 不 是 同时 执行 的 ， 只 是 把 时 间 分 成 若干 段 ， 使 多 个 进程 快速 交替 执行 ， 从 宏观 来 看 ， 就 像 是 这 些 进程 都 在 执行 。 

















使 用 多 个 线程 可 以 帮助 我 们 在 单个 处 理 系统 中 实现 更 高 的 吞吐 量 ， 如 果 一 个 程序 是 单线 程 的 ， 这 个 处 理 器 在 等 待 一 个 同步 |/O 操 作 完 成 的 时 候 ， 它 仍然 是 空 闪 的 。 在 多 线程 系统 中 ， 当 一 个 线程 等 待 |/O 
的 同时 ， 其 他 的 线程 也 可 以 执行 。 


























这 个 有 点 像 一 个 厨师 在 做 麻辣 鸡 丝 的 时 候 同 时 做 香 辣 土豆 条 ， 这 总 比 先 做 麻辣 鸡 丝 再 做 香 辣 土豆 条 效率 要 高 ， 因 为 可 以 交替 进行 。 











上 面 这 种 是 在 单 处 理 器 (厨师 ) 的 系统 处 理 任务 (做 菜 ) 的 情况 ， 厨 师 只 有 一 个 ， 他 在 一 个 微观 的 时 间 点 上 ， 他 只 能 做 一 件 事情 ， 这 种 情况 就 是 虽然 是 多 个 线程 ， 但 是 都 在 同一 个 处 理 器 上 运行 。 














但 是 多 线程 并 不 能 一 定 能 提高 程序 的 执行 效率 ， 比 如 ， 你 的 项 目 经 理 给 你 分 配 了 10 个 bug 让 你 修改 ， 你 应 该 会 一 个 一 个 去 改 ， 大 家 一 般 不 会 每 个 bug 都 去 改 5 分 钟 ， 直 到 改 完 为 止 ， 如 果 这 样 的 话 ， 上 次 
改 到 什么 地 方 都 记 不 得 了 。 在 这 种 情况 下 并 发 并 没有 提高 程序 的 执行 效率 ， 反 而 因为 过 多 的 上 下 文 切换 引入 了 一 些 额 外 的 开销 。 

















此 在 单 CPU 下 只 能 实现 程序 的 并 发 ， 无 法 实现 程序 的 并 行 。 








现在 CPU 到 了 多 核 的 时 代 ， 那 么 就 出 现 了 新 的 概念 : 并 行 。 








并 行 是 真正 细 粒 度 上 的 同时 进行 ， 即 同一 时 间 点 上 同时 发 生 着 多 个 并 发 。 更 加 确切 地 讲 就 是 每 个 CPU 上 运行 一 个 程序 ， 以 达到 同一 时 间 点 上 每 个 CPU 上 运行 一 个 程序 。 


并 行 和 并 发 的 区 别 是 : 











解释 一 : 并 行 是 指 两 个 或 者 多 个 事件 在 同一 时 刻 发 生 ， 并 发 是 指 两 个 或 多 个 事件 在 同一 时 间 间 隔 发 生 。 


解释 二 : 并 行 是 在 不 同 实体 上 的 多 个 事件 ， 并 发 是 在 同一 实体 上 的 多 个 事件 。 











解释 三 : 在 一 台 处 理 器 上 “同时 ”处 理 多 个 任务 ， 在 多 台 处 理 器 上 同时 处 理 多 个 任务 。 


关于 并 行 更 多 的 内 容 ， 可 参考 如 下 文档 : http://www.xue163.com/exploit/92/928818.html。 


2.7 ”生产 环境 下 的 Shell 脚 本 






































生产 环境 下 的 Shell 作 用 还 是 挺 多 的 ， 这 里 根据 2.1 节 介绍 的 日 常 工 作 中 Shell 脚 本 的 作用 ， 将 生产 环境 下 的 Shell 脚 本 分 为 备份 类 、 监 控 类 、 运 维 开发 类 和 自动 化 运 维 类 。 前 面 三 个 从 字面 意义 上 看 比较 容 
易 理 解 ， 后 面 的 稍微 解释 一 下 ， 运 维 开发 类 脚本 是 利用 Shell 或 Python 实现 一 些 非 系 统 类 的 管理 工作 ， 比 如 SVN 的 发 布 程序 ( 即 预 开发 环境 和 正式 开发 环境 的 切换 实现 ) 等 ; 而 自动 化 运 维 类 脚本 则 利 
Shell 来 自动 蔡 我 们 做 一 些 繁 琐 的 工作 ， 比 如 系统 上 线 前 的 初始 化 或 自动 安装 LNMP 环 境 等 。 下 面 会 按 这 些 分 类 举 一 些 具体 实例 便于 大 家 理解 。 另 外 值得 说 明 的 一 点 是 ， 这 些 实例 都 源 自 于 笔者 个 人 的 线 上 环 
境 ; 大 家 拿 过 来 稍微 改动 一 下 IP 或 备份 目录 基本 上 就 可 以 使 用 了 。 

















































































































































































































3 外， 因为 现在 线 上 部 分 业务 采用 的 是 AWS EC2 机 器 ， 基 本 上 都 是 采用 的 Amazon Linux 系 统 ， 所 以 这 里 先 跟 大 家 简单 介绍 下 Amazon Linux 系 统 。 





























2.7.1 Amazon Linux 系 统 简介 




















Amazon Linux 由 Amazon Web Services (AWS) 提供 。 它 旨 在 为 Amazon EC2 上 运行 的 应 用 程序 提供 稳定 、 安 全 和 高 性 能 的 执行 环境 。 此 外 ， 它 还 包括 能 够 与 AWS 轻 松 集成 的 软件 包 ， 比 如 启动 配 
置 工具 和 许多 常见 的 AWS 库 及 工具 等 。AWS 为 运行 Amazon Linux 的 所 有 实例 提供 持续 的 安全 性 和 维护 更 新 。 
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.启动 并 连接 到 Amazon Linux 实 例 









































启动 Amazon Linux 实 例 需 要 使 用 Amazon Linux AMI (映像 ) 。AWS 向 Amazon EC2 用 户 提供 Amazon Linux AM1， 无 需 额外 费用 。 找 到 需要 的 AMI 后 ， 记 下 AMI 1D。 然 后 就 可 以 使 用 AMI ID 启动 
并 连接 相应 的 实例 了 。 















































默认 情况 下 ，Amazon Linux 不 支持 远程 根 SSH。 此 外 ， 密 码 验证 已 禁用 ， 以 防止 强力 (brute-force) 密码 攻击 。 要 在 Amazon Linux 实 例 上 启用 SSH 登 录 ， 必 须 在 实例 启动 时 为 其 提供 密 铀 对 ， 还 必 
须 设 置 用 于 启动 实例 的 安全 组 已 允许 SSH 访 问 。 默 认 情况 下 ， 唯 一 可 以 使 用 SSH 进 行 远程 登录 的 账户 是 ec2-user， 此 账户 还 拥有 sudo 特 权 。 如 果 希 望 启动 远程 根 登录 ， 请 注意 ， 其 安全 性 不 及 依赖 密 钥 对 和 
二 级 用 户 。 
















































































有 关 启 动 和 使 用 Amazon Linux 实 例 的 信息 ， 请 参阅 启动 实例 。 有 关连 接 到 Amazon Linux 实 例 的 更 多 信息 ， 请 参阅 连接 到 Linux 实 例 。 


2. 识 别 Amazon Linux AMI 映 像 








每 个 映像 都 包含 唯一 的 /etc/image-id， 用 于 识别 AMI。 此 文件 包含 有 关 映 像 的 信息 。 








下 面 是 /etcimage-id 文 件 示例 ， 命 令 如 下 : 








cat /etc/image-id 


命令 结果 如 下 所 示 : 





image name="amzn-ami-hvm" 

image version="2015.03" 

image arch="x86 64" 

i :file="amzn-ami-hvm-2015.03.0.x86 _64.ext4.gpt" 
66c-fff6" 





le="amzn ami" 
recipe id="1c207c1f-6186-b5c9-4e1lb-9400-c2d8-a3b2-3d11fdf8" 














其 中 ，image_name、image _version 和 image_arch 项 目 来 自 Amazon 用 于 构建 映像 的 配方 。image_stamp 只 是 映像 创建 期 间 随机 生成 的 唯一 十 六 进 制 值 。image_date 项 目的 格式 为 
YYYYMMDDhhmmss， 是 映像 创建 时 的 UTC 时 间 。recipe_name 和 recipe id 是 Amazon 用 于 构建 映像 的 构建 配方 的 名 称 和 ID， 用 于 识别 当前 运行 的 Amazon Linux 版 本 。 当 我 们 从 yum 存 储 库 安装 更 新 
时 ， 此 文件 不 会 更 改 。 






























































Amazon Linux 包 含 /etc/system-release 文 件 ， 用 于 指定 当前 安装 的 版 本 。 此 文件 通过 yum 进 行 更 新 ， 是 system-release RPM 的 一 部 分 。 














下 面 是 /etc/system-release 文 件 示例 ， 命 令 如 下 : 





cat /etc/system-release 





命令 结果 如 下 所 示 : 





Amazon Linux AMI release 2015.03 





说 
Ohon Linux 系 统 这 部 分 内 容 摘录 自 http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/AmazonLinuxAMIBasics.html#IdentifyingLinuxAMI_Images。 


2.7.2 ”生产 环境 下 的 备份 类 脚本 





俗话 说 得 好 : “备份 是 救命 的 稻草 。” ， 特 别 是 重要 的 数据 和 代码 ， 这 些 都 是 公司 的 重要 资产 ， 所 以 必须 进行 备份 。 备 份 能 在 我 们 执行 了 一 些 毁 灭 性 的 工作 之 后 (比如 不 小 心 删除 了 数据 ) 进行 恢复 。 
许多 有 实力 的 公司 在 国内 的 多 个 地 方 都 有 灾 备 机 房 ， 而 且 用 的 都 是 价格 不 非 的 EM(C 高 端 存储 。 可 能 会 有 朋友 想 问 : 如 果 我 们 没有 存储 怎么 办 ”这 可 以 参考 一 下 笔者 公司 的 备份 策略 : 在 执行 本 地 备份 的 同 
时 ， 让 Shell 脚 本 自动 上 传 数据 到 另 一 台 FTP 备 份 服务 器 中 ， 这 种 异地 备份 策略 成 本 较 低 ， 无 须 存 储 ， 而 且 安 全 系数 高 ， 相 当 于 双 备 份 ， 本 地 和 异地 同时 出 现 数据 损坏 的 几率 几乎 为 0。 






























































另外 ， 还 可 以 将 需要 备份 的 数据 备份 至 AWS 的 S3 分 布 式 文件 系统 里 面 (下 文 将 详细 介绍 S3 的 资料 ) ， 此 双 备 策略 的 具体 步骤 如 下 。 

















首先 ， 需 要 做 好 准备 工作 。 先 安装 一 台 CentOS 6.4 x86_64 的 备份 服务 器 ， 并 安装 vsftpd 服 务 ， 稍 微 改动 一 下 配置 后 启动 。 另 外 ， 关 于 vsftpd 的 备份 目录 ， 可 以 选择 RAID1 或 RAID5 的 分 区 进行 存储 。 


vsftpd 服 务 的 安装 如 下 ，CentOSOS 6.8 x86_ 64 下 自 带 的 yum 极 为 方便 。 








yum -y install vsftpd 
service vsftpd start 
chkconfig vsftpd on 

















vsftpd 的 配置 比较 简单 ， 详 细 语 法 略 过 ， 这 里 只 给 出 配置 文件 ， 我 们 可 以 通过 组 合 使 用 如 下 命令 直接 得 出 vsftpd.conf 中 有 效 的 文件 内 容 : 
































grep -V "^#" /etc/vsftpd/vsftpd.conf | grep -~v '^$"' 
local enable=YES 

write enable=YES 

local umask=022 
dirmessage enable=YES 
xferlog enable=YES 
connect_ from port 20=YES 
xferlog std format=YES 
listen=YES — 

chroot local user=YES 
pam service name=vsftpd 
userlist enable=YES 
tcp_wrappers=YES 






























































chroot_local_user=YES 这 人 句 话 要 重点 强调 一 下 。 它 的 作用 是 对 用 户 登 录 权限 进行 限制 ， 即 所 有 本 地 用 户 登录 vsftpd 服 务 器 时 只 能 在 自己 的 家 目录 下 ， 这 是 基于 安全 的 考虑 ， 笔 者 在 编写 脚本 的 过 程 中 也 
考虑 到 了 这 点 ， 如 果 大 家 要 移植 此 脚本 到 自己 的 工作 环境 中 ， 不 要 忘 了 这 句 语 法 ,否则 异地 备份 极 有 可 能 失效 。 





























另外 ,我们 应 该 在 备份 服务 器 上 建立 备份 用 户 ， 例 如 svn， 并 为 其 分 配 密码 ， 还 需 将 其 家 目录 更 改 为 备份 目录 ， 即 /data/backup/svn-bakcup， 这 样 的 话 更 方便 备份 工作 ， 以 下 备份 脚本 依 此 类 推 。 








1. 版 本 控制 软件 SVN 的 代码 库 的 备份 脚本 
































版 本 控制 软件 SVN 的 重要 性 这 里 就 不 再 多 言 ， 现 在 很 多 公司 基本 还 是 利用 SVN 作 为 提交 代码 集中 管理 的 工具 ， 所 以 做 好 其 备份 工作 的 重要 性 就 不 言 而 喻 了 。 这 里 的 轮 询 周期 为 30 天 一 次 ，Shell 会 自动 删 
除 30 天 前 的 文件 。 在 vsftpd 服 务 器 上 建立 相应 备份 用 户 svn 的 脚本 内 容 如 下 (此 脚本 已 在 CentOS 6.8 x86_64 下 通过 ) : 












































#!/bin/sh 

SVNDIR=/data/swn 
SVNADMIN=/usr/bin/svnadmin 

DATE= “date +%Y-%m-%d、 

OLDDATE=“ date +%Y-Sm-%d -d '30 days'. 
BACKDIR=/data/backup/svn-backup 


[ -d ${BACKDIR} ] || mkdir -p ${BACKDIR} 
LogFile=$ {BACKDIR}/svnbak.1log 
[ -f ${LogFile} ] || touch ${LogFile} 


mkdir ${BACKDIR}/${DATE} 


for PROJECT in myproject official analysis mypharma 

do 

cd $SVNDIR 

SSVNADMIN hotcopy $PROJECT $BACKDIR/$DATE/$PROJECT --clean-logs 
cd $BACKDIR/$DATE 

tar zcvf ${PROJECT} svn ${DATE}.tar.gz $PROJECT> /dev/null 

rm -rf $PROJECT 

sleep 2 

done 


HOST=192.168.2.112 
FTP_USERNAME=svn 
FTP_PASSWORD=svn101 


cd ${BACKDIR}/${DATE} 


ftp -i-n-v<<! 
open ${HOST} 


user ${FTP USERNAME} ${FTP_ PASSWORD} 


bin 

cd ${OLDDATE} 

mdelete * 

cd http://www.hzcourse 
rmdir ${OLDDATE} 
mkdir ${DATE} 

cd ${DATE} 

mput * 

bye 

1 


‘Com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/.. 





2.MySQl 数 据 备份 至 S3 文 件 系统 








首先 跟 大 家 介绍 下 亚马逊 的 分 布 式 文件 系统 53，53 为 开发 人 员 提 供 了 一 个 高 度 扩 展 (Scalability) 、 高 持久 性 (Durability) 和 高 可 用 (Availability) 的 分 布 式 数据 存储 服务 。 它 是 一 个 完全 针对 互联 网 





























的 数据 存储 服务 ， 应 用 程序 通过 一 个 简单 的 Web 服 务 接口 就 可 以 在 任何 时 候 通过 互联 网 访问 S3 上 的 数据 。 当 然 ， 我 们 存放 在 $S3 上 的 数据 可 以 进行 访问 控制 来 保障 数据 的 安全 性 。 这 里 所 说 的 访问 53 包 括 读 、 
写 、 删 除 等 多 种 操作 。 在 脚本 最 后 ， 采 用 aws s3 命 令 中 的 cp 将 MySQL 上 传 至 s3://example-shar 这 个 bucket 上 面 (更 多 S3 详 细 资 料 请 参考 官方 文档 http://aws.amazon.comy/cn/s3/) ， 脚 本 内 容 如 下 所 示 








(此 脚本 已 在 Amazon Linux 
































AMI x86_64 下 通过 ) : 





#!/bin/bash 
Filename: 
backupdatabase. sh 
Description: 


crontab 


井 井 井 井 埋 井 井 


DATE= “date +g%Y-%m-gd ~ 


backup cms database and remove backup data before 7 days 


55 23 * * * /bin/sh /yundisk/cms/crontab/backupdatabase.sh >> /yundisk/cms/crontab/backupdatabase.1og 2>&1 


OLDDATE=“ date +%Y-S%m-%d -d '-~7 days'. 


#MYSQL=/usr/local/mysql/bin/mysql 
#MYSQLDUMP=/usr/local/mysql /bin/mysqldump 
#MYSQLADMIN=/usr/1local/mysql/bin/mysqladmin 


BACKDIR=/yundisk/cms/database 


[ -d ${BACKDIR} ] || mkdir -p ${BACKDIR} 
[ -d ${BACKDIR}/${DATE} ] || mkdir ${BACKDIR}/${DATE} 
[ ! -qd ${BACKDIR}/${OLDDATE} ] || rm -rf ${BACKDIR}/${OLDDATE} 


mysqldump --default-character-set=utf8 --no-autocommit --quick --hex-blob --single-transaction -uroot cms production | gzip > ${BACKDIR}/${DATE}/cms-backup-${DATE}.sql.gz 
echo "Database cms production and bbs has been backup successful" 


/bin/sleep 5 


aws s3 cp ${BACKDIR}/${DATE}/* s3://example-share/cms/databackup/ 





2.7.3 ”生产 环境 下 的 监控 类 脚本 

















在 生产 环境 下 ， 服 务 器 的 稳定 情况 会 直接 影响 公司 的 生意 和 信誉 ， 可 见 其 有 多 重要 。 所 以 ， 我 们 需要 即时 掌握 服务 器 的 状态 ， 一 般 我 们 会 在 机 房 部 署 Nagios 或 Zabbix 作 为 监控 程序 ， 然 后 用 SHELL 和 
Python 等 脚本 语言 根据 业务 需求 开发 监控 插件 ， 实 时 监控 线 上 业务 。 














1.Nginx 负 载 均衡 服务 器 上 监控 Nginx 进 程 的 脚本 




















由 于 笔者 公司 电子 商务 业务 网 站 前 端的 LoadBalance 用 到 了 Nginx+Keepalived 架 构 ， 而 Keepalived 无 法 进行 Nginx 服 务 的 实时 切换 ， 所 以 用 了 一 个 监控 脚本 nginx_pid.sh， 每 隔 5 秒 就 监控 一 次 Nginx 
的 运行 状态 (也 可 以 由 Superviored 守 护 进程 托管 ) ， 如 果 发 现 问题 就 关闭 本 机 的 Keepalived 程 序 ， 让 VIP 切换 到 Nginx 负 载 均衡 器 上 。 在 对 线 上 环境 进行 操作 的 时 候 ， 人 为 重启 了 主 Master 的 Nginx 机 器 ， 
使 Nginx 机 器 在 很 短 的 时 间 内 就 接管 了 VIP 地 址 ， 即 网 站 的 实际 内 网 地 址 (此 内 网 地 址 能 过 防火 墙 映射 为 公 网 |P) ， 进 一 步 证 实 了 此 脚本 的 有 效 性 ， 脚 本 内 容 如 下 (此 脚本 已 在 CentOS6.8x86_64 下 通过 ) : 




















#!/bin/bash 
while : 
do 


nginxpid=“ps -C nginx --no-header | wc -1. 


if [ $nginxpid -eq 0 ] 
ulimit -SHn 65535 


;then 


/usr/local/nginx/sbin/nginx 


sleep 5 
if [ $nginxpid -eq 0 ] 


;then 


/etc/init.d/keepalived stop 





2. 系 统 文件 打开 数 监测 及 








本 








这 个 脚本 比较 方便 ， 可 


来 查看 Nginx 进 程 下 的 最 大 文件 打开 数 ， 脚 本 代码 如 下 (此 脚本 已 在 CentOS 6.4|6.8 x86_x64、Amazon Linux AMI x86_64 下 通过 ) : 











#!/bin/bash 


for pid in ‘ps aux |grep nginx |grep -V greplawk '{print $2}'. 


do 


cat /proc/${pid}/limits |grep 'Max open files' 


运行 结果 如 下 所 示 : 





Max open files 
Max open files 
Max open files 
Max open files 
Max open files 


65535 65535 files 
65535 65535 files 
65535 65535 files 
65535 65535 files 
65535 65535 files 





3. 监 控 Python 程 序 是 否 正常 运行 


需求 比较 简单 ， 











要 是 监控 业务 进程 rsync_redis.py 是 否 正 常 运行 ， 有 没有 发 生 Crash 的 情况 。 另 外 建议 类 似 于 rsync_redis.py 的 重要 业务 进程 交 由 Superviored 守 护 进程 托管 。 脚 本 内 容 如 下 所 示 (脚本 


已 在 Amazon Linux AMI x86_ 64 下 通过 ) : 





#!/bin/bash 
sync redis status=‘ps 


aux | grep sync redis.py | grep -v grep | wc -1 “ 


4 [${sync redis status} != 1 ]; then 
echo "Critical! sync redis is Died" 


exit 2 


else 

echo "OK! sync redis is Alive" 
exit 0 

人 





4. 监 测 机 器 的 IP 连 接 数 


需求 较为 简单 ， 先 编 计 IP 连 接 数 ， 如 果 ip_conns 值 小 于 15000 则 显示 为 正常 ， 界 于 15000 至 20000 之 间 为 警告 ， 如 果 超过 20000 则 报警 ， 脚 本 内 容 如 下 所 示 (脚本 已 在 Amazon Linux AMI x86_64 下 通 








#!/bin/bash 

# 脚 本 的 $1 和 $2 报警 阅 值 可 以 根据 业务 的 实际 情况 调整 。 

#$1 = 15000, $2 = 20000 

ip_ conns= "netstat -an | grep tcp | grep EST | wc -1 





messages= "netstat -ant | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]l}'|tr -s '\n' ',' | sed -r 's/(.*),/\1\n/g' 
if [ $ip conns -lt $1 ] 

then 

echo “$messages,OK -connect counts is $ip conns" 

exit 0 

fi 

if [ $ip conns -gt $1 -a $ip conns -lt $2 ] 

then 

echo "$messages,Warning -connect counts is $ip conns" 
exit 1 

fi 

if [ $ip conns -gt $2 ] 

then 

echo “$messages,Critical -connect counts is $ip conns" 
exit 2 

中 

5. 监 测 机 器 的 CPU 利 用 率 脚本 








线 上 的 bidder 业 务 机 器 ， 在 业务 繁忙 的 高 峰 期 会 出 现 CPU 利 用 率 超过 99.99% (sys%+user%) 的 情况 ， 导 致 后 面 进来 的 流量 打 在 机 器 上 面 却 发 生 完全 进 不 来 的 情况 ， 但 此 时 机 器 系统 负载 及 Nginx+Lua 
进程 都 是 完全 正常 的 ， 均 能 对 外 提供 服务 。 所 以 需要 开发 一 个 CPU 利用 率 脚本 ， 在 超过 自 定义 阔 值 时 报警 ， 方 便 运 维 人 员 批 量 添加 bidder 机 器 以 应 对 峰值 ，AWS EC2 实 例 机 器 是 可 以 以 小 时 来 计 费 的 ， 大 家 
在 这 里 也 要 注意 系统 负载 和 CPU 利用 率 之 间 的 区 别 。 脚 本 内 容 如 下 所 示 (脚本 已 在 Amazon Linux AMI x86_64 下 通过 ) 












































#!/bin/bash 
# 














# CPU Utilization Statistics plugin for Nagios 








# 

# USAGE ‘/check cpu utili.sh [-w <user, system, iowait>] [-c <user, system,iowait>] ( [ -i <intervals in second> ] [ -n <report number> ]) 
# 

# Exemple: ./check cpu utili.sh 

# ./check cpu utili.sh -WwW 70,40,30 -c 90,60,40 

# ./check cpu utili.sh ~w 70,40,30 -c 90,60,40 -i 3 -n 5 

i i 


# Paths to commands used in this script. These may have to be modified to match your system setup. 
IOSTAT="/usr/bin/iostat" 


# Nagios return codes 
STATE OK=0 

STATE_ WARNING=1 
STATE CRITICAL=2 
STATE, UNKNOWN=3 


# Plugin parameters value if not define 
LIST WARNING THRESHOLD="70, 40,30"™" 

LIST CRITICAL THRESHOLD="90, 60,40" 
INTERVAL SEC=I 

NUM REPORT=1 

# Plugin variable description 
PROGNAME=$ (basename $0) 


if [ ! -x $IOSTAT ]; then 
echo "UNKNOWN: iostat not found or is not executable by the nagios user." 
exit $STATE UNKNOWN 


fi 

print usage() { 

echo “" 

echo "$PROGNAME $RELEASE - CPU Utilization check script for Nagios" 

echo mn 

echo "Usage: check cpu utili.sh ~-w -c (-i -n)" 

eache mm 

echo " -WwW Warning threshold in % for warn user,warn system,warn iowait CPU (default : 70,40,30)" 
echo " Exit with WARNING status if cpu exceeds warn nn" 

echo " -ce Critical threshold in % for crit user,crit system,crit iowait CPU (default : 90,60,40)" 





echo " Exit with CRITICAL status if cpu exceeds crit 1 
echo -i Interval in seconds for iostat (default : 1)" 
echo " ~-n Number report for iostat (default : 3)" 

echo -h Show this page" 

echo 
echo "Usage: $PROGNAME" 

echo "Usage: $PROGNAME --help" 
eohQ, "™ 

exit 0 


} 


print help() { 
print usage 
echo "™ 
echo "This Plugin will check cpu utilization (user,system,CPU Iowait in $%) 
echo wm 
exit 0 


} 


# Parse parameters 
while [ $# -gt 0 1];do 
case "$1" in 
-h --help) 
print help 
exit $STATE OK 
-Vv —-version) 
print release 
exit $STATE OK 





一 W --warning) 
shift 
LIST WARNING THRESHOLD=$1 
~ -Critical) 
shift 
LIST_CRITICAL THRESHOLD=$1 
-i --interval) 
shift 
INTERVAL SEC=$1 
-0 --number) 
Shift 


NUM REPORT=$1 


*) echo "Unknown argument: $1"™ 


print usage 
exit $STATE UNKNOWN 
esac 
shift 
done 


# List to Table for warning threshold (compatibility with 

TAB WARNING THRESHOLD=(“echo $LIST WARNING THRESHOLD | sed 's/,/ /g'*) 
i£ T wf #TAB 1 WARNING THRESHOLD[@] ) -ne "3™ ]; then 

echo "ERROR : Bad count parameter in Warning Threshold" 

exit $STATE WARNING 

else 

USER_WARNING THRESHOLD= echo ${TAB WARNING THRESHOLD[0]} 

SYSTEM WARNING THRESHOLD= “echo ${TAB | WARNING ;THRESHOLD [1]} 

IOWAIT 1 WARNING - THRESHOLD= echo S${TAB 1 WARNING ”THRESHOLD [2] 站 

Ey 





# List to Table for critical threshold 

TAB_ CRITICAL THRESHOLD=(“echo $LIST CRITICAL THRESHOLD | sed 's/,/ /g'.) 
if T "${#TAB CRITICAL THRESHOLD[@]}™ -ne "3" ]; then 

echo "ERROR : Bad count parameter in CRITICAL Threshold" 

exit $STATE WARNING 

else 

USER CRITICAL THRESHOLD=“echo ${TAB CRITICAL THRESHOLD[0]}* 

SYSTEM CRITICAL THRESHOLD=“echo ${TAB CRITICAL THRESHOLD[1]}. 

IOWAIT CRITICAL THRESHOLD=“echo ${TAB CRITICAL THRESHOLD[2]} 

下 


if [ ${TAB WARNING THRESHOLD[0]} -ge ${TAB CRITICAL THRESHOLD[0]} -oOo ${TAB WARNING THRESHOLD[1]} -ge ${TAB CRITICAL THRESHOLD[1]} -o ${TAB WARNING THRESHOLD[2]} -ge ${TAB CRITI 
echo "ERROR : Critical CPU Threshold lower as Warning CPU Threshold " 
exit $STATE WARNING 





ff 

CPU_ REPORT=“iostat -C $INTERVAL SEC SNUM REPORT | sed -e 's/,/./g' | tr -s '' ';' | sed '/*$/d' | tail -1° 
CPU_REPORT SECTIONS=“echo ${CPU REPORT} | FP 1 oN 

CPU USER=“echo $CPU REPORT | cut -d ";" -f 2 

CPU SYSTEM=“echo SCEU REPORT | cut Ee i 汪 

CPU_IOWAIT=“echo $CPU REPORT | cut -d ";" -f 5 

CPU STEAIL=“echo $CPU REPORT | cut -d 

CPU IDLE=‘echo $CPU REPORT | cut -d "im -f 人 


NAGIOS STATUS="user=$ {CPU ] USER}$, system=$ {CPU SYSTEM}%, ijowait=$ {CPU IOWAIT}%,idle=${CPU IDLE}%" 
NAGIOS_ DATA="CpuUser=$ {CPU USER};${TAB WARNING THRESHOLD[0]};${TAB CRITICAL THRESHOLD[0J};0" 


CPU_USER MAJOR= echo $CPU USER| cut -d "." -f 1 
CPU_SYSTEM MAJOR= echo $CPU SYSTEM | cut -d "." -f 1 
CPU_IOWAIT MAJOR=“echo $CPU IOWAIT | cut -d "." -f 1 
CPU_IDLE MAJOR= echo $CPU IDLE | cut -d "." -f 1 

# Return 


if [ ${CPU USER MAJOR} -ge $USER CRITICAL THRESHOLD ]; then 

echo "CPU STATISTICS OK:${NAGIOS STATUS} | CPU USER=${CPU USER}$%;70;90;0;100" 
exit $STATE CRITICAL 加 
elif [ ${CPU SYSTEM MAJOR} -ge $SYSTEM CRITICAL THRESHOLD ] then 

echo "CPU STATISTICS OK:${NAGIOS STATUS} | CPU USER=${CPU USER}%®;70;90;0;100" 
exit $STATE CRITICAL 
elif [ ${CPU IOWAIT MAJOR} -ge $IOWAIT CRITICAL THRESHOLD ]; then 

echo "CPU STATISTICS OK:${NAGIOS STATUS} | CPU USER=${CPU USER}%;70;90;0;100" 
exit $STATE CRITICAL 
elif [ ${CPU USER MAJOR} -ge $USER WARNING THRESHOLD ] && [ ${CPU USER MAJOR} -1t $USER CRITICAL THRESHOLD ]; then 
echo "CPU STATISTICS OK:${NAGIOS STATUS} | CPU USER=${CPU USER}%;70;90;0;100" 

exit $STATE WARNING 3 
elif [ ${CPU SYSTEM MAJOR} -ge $SYSTEM WARNING THRESHOLD ] && [ ${CPU SYSTEM MAJOR} -lt $SYSTEM CRITICAL THRESHOLD ]; then 
echo "CPU STATISTICS OK:${NAGIOS STATUS} | CPU_USER=${CPU USER}%;70;90;0;100™ 

exit $STATE WARNING 
elif [ ${CBU IOWAIT MAJOR} -ge $IOWAIT WARNING THRESHOLD ] && [ ${CPU IOWAIT MAJOR} -1t $IOWAIT CRITICAL THRESHOLD ]; then 
echo "CPU STATISTICS OK:${NAGIOS STATUSY | CPU USER=${CPU USER}%;70;9070;100™ 

exit $STATE WARNING 
else 





echo "CPU STATISTICS OK:$ {NAGIOS_STATUS} CPU_USER=$ {CPU_USER}®;70;90;0;100™ 
exit $STATE OK 
人 














此 脚本 参考 了 Nagios 的 官方 文档 https://exchange.nagios.org/ 并 进行 了 代码 精简 和 移植 ， 原 代码 是 运行 在 ksh 下 面 的 ， 这 里 将 
的 。 另 外 有 一 点 也 值得 大 家 注意 ，Shell 本 身 不 支持 浮 点 运算 ， 但 可 以 通过 awk 的 方式 处 理 。 


移植 到 了 bash 下 面 ，ksh 下 定义 数组 的 方式 跟 bash 下 还 是 有 所 区 别 








2.7.4 ”生产 环境 下 的 运 维 开 发 类 脚本 








Shell 在 DevOps ( 运 维 开发 ) 工作 中 的 比重 其 实 不 低 ， 我 们 很 多 时 候 可 以 利用 其 写 出 对 实际 工作 中 有 意义 和 帮助 的 脚本 ， 这 里 举例 说 明 。 














1. 系 统 初始 化 脚本 














此 脚本 用 于 新 装 Linux 的 相关 配置 工作 ， 比 如 禁 掉 iptable、SElinux 和 ipv6， 优 化 系统 内 核 ， 停 掉 一 些 没 必要 启动 的 系统 服务 等 。 我 们 将 此 脚本 用 于 公司 内 部 的 开发 机 器 的 批量 部 署 。 事 实 上 ， 复 杂 的 系 
统 初 始 化 initial 脚 本 由 于 涉及 多 条 产品 线 和 多 个 业务 平台 ， 远 比 这 里 列 出 的 开发 环境 下 的 初始 化 脚本 复杂 得 多 ， 而 且 代码 量 极 大， 基本 上 都 是 4000 ~ 5000 行 左右 的 Shell 脚 本 ， 各 功能 模块 以 多 函数 的 形式 进 
行 封装 。 下 面 只 涉及 了 一 些 基础 部 分 ， 希 望 大 家 注意 。 脚 本 代码 如 下 所 示 (此 脚本 已 在 CentOS 6.8 x86_x64 下 已 通过 ) 




















#!/bin/bash 
# 添 加 epel 外 部 yum 扩 展 源 
cd /usr/local/src 
wget http://dl.fedoraproject.org/pub/epel/6/x86_ 64/epel-release-6-8.noarch.rpm 
rpm -ivh epel-release-6-8.noarch.rpm 
# 安 装 gcc 基 础 库 文件 以 及 sysstat 工 具 
yum -y install gcc gcc-c++ vim-enhanced unzip unrar sysstat 
# 配 置 ntpdate 自 动 对 时 
-y install ntp 
echo "01 01 * * * /usr/sbin/ntpdate ntp.api.bz >> /dev/null 2>&1" >> /etc/crontab 
ntpdate ntp.api.bz 
service crond restart 
# 配 置 文 件 的 ulimit 值 
ulimit -SHNn 65535 
echo "ulimit -SHn 65535" >> /etc/rc.local 
cat>> /etc/security/limits.conf << EOF 





过 soft nofile 65535 
* hard nofile 65535 
EOF 

# 基 础 系统 内 核 优化 


cat>> /etc/sysctl.conf << EOF 
fs.file-max=419430 

net .ipv4.tcp syncookies = 
net .ipv4.tcp_syn retries 
net.ipv4.tcp tw recycle = 1 
net.ipv4.tcp tw reuse = 1 

net .ipv4.tcp fin timeout = 1 

net .ipv4.tcp keepalive time = 1200 
net.ipv4.ip Tocal port range 1024 65535 
net .ipv4.tcp max syn backlog = 16384 

net .ipv4.tcp max tw buckets = 36000 

net .ipv4.route.gc timeout = 100 


1 
T 





net .ipv4.tcp syn retries = 1 
net.ipv4.tcp synack retries =1 

net .core.somaxconn = 16384 

net .core.netdev max backlog = 16384 
net .ipv4.tcp max orphans = 16384 
EOF 

/sbin/sysctl -p 


# 禁 用 control-alt-delete 组 合 键 以 防止 误 操作 

sed -i 's@ca::ctrlaltdel:/sbin/shutdown -t3 -r now@#ca::ctrlaltdel:/sbin/shutdown -t3 -r now@' /etc/inittab 
# 关 闭 SElinux 

sed -i 's@SELINUX=enforcing@SELINUX=disabled@' /etc/selinux/config 

# 关 闭 iptables 

service iptables stop 

chkconfig iptables off 

#ssh 服 务 配 置 优化 ,请 至 少 保持 机 器 中 至 少 有 一 个 具有 sudo 权 限 的 用 户 ， 下 面 的 配置 会 禁止 root 远 程 登录 

sed -i 's@#PermitRootLogin yes@PermitRootLogin no@' /etc/ssh/sshd config # 禁 止 root 远 程 登 录 
sed -i 's@#PermitEmptyPasswords no@PermitEmptyPasswords no@' /etc/ssh/sshd_config # 禁 止 空 密码 登录 
sed -i 's@#UseDNS yes@UseDNS no@' /etc/ssh/sshd config /etc/ssh/sshd config 

service sshd restart 

# 禁 用 ipv6 地 址 

echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf 

echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf 

chkconfig ip6tables off 

人 

echo "syntax on" >> /root/.vimrc 

echo "set nohlsearch" >> /root/.vimrc 

# 精 简 开 机 自 启动 服务 ， 安 装 最 小 化 服务 的 机 器 初始 可 以 只 保留 crond，network，rsyslog，sshgd 这 四 个 服务 。 

for i in ‘chkconfig --list|grep 3:onlawk '{print $1}'‘;do chkconfig --level 3 $i off;done 

for CURSRV in crond rsyslog sshd network;do chkconfig --level 3 $CURSRV on;done 

# 重 启 服务 器 


reboot 























2 控制 Shell 多 进程 数量 的 脚本 








下 面 的 run.py 是 使 Kin 经 测试 机 器 上 面 运 行 8 个 性 能 最 好 的 时 候 ， 既 能 充分 发 挥 机 器 性 能 ， 又 不 会 导致 机 器 响应 速度 过 慢 。 有 时 为 了 避免 并 发 进程 数 过 多 ， 导 致 机 器 卡 死 ， 需 要 限 
制 并 发 的 数量 。 下 面 的 脚本 可 以 实现 这 个 需求 ， 其 代码 如 下 所 示 : 




















#!/bin/bash 
# 每 5 分 钟 运行 一 次 脚本 


CE HOME="' /data/ContentEngine' 
LOG PATH="' /data/logs' 


# 控制 候 虫 数量 为 8 
MAX_SPIDER COUNT=8 


# current count of spider 

count= "ps -ef | grep -V grep | grep ru n.py | 

# 下 面 的 逻辑 是 控制 run .py 进程 数量 始终 为 8， 守护 的 性 能 ， 并 且 为 了 防止 形成 死 循 环 ， 这 里 没有 用 。 while 语 句 。 
try time=0 

cd SCE HOME 

while [ $count -lt SMAX SPIDER COUNT -a Stry time -lt $MAX SPIDER COUNT ] ;do 

let try timet=1 Ee i 加 

Python run.py >> ${LOG PATH}/spider.10g 2>&1 & 

count= Ps -ef | grep -V grep | grep run.py | wc -1 








3. 调 用 Ansible 来 分 发 多 条 线路 的 配置 





























这 里 的 publishconf.sh 文 件 为 总 控制 逻辑 文件 ， 会 调用 Ansible 进 行 电信 、 联 通 线路 的 配置 下 发 工作 ， 由 于 牵涉 的 业务 较 多 ， 这 里 只 摘录 部 分 内 容 。 另 外 ， 这 里 生成 的 hosts 文 件 也 是 通过 程序 调 
的 CMDB 资 产 管理 系统 的 接口 来 生成 另外 hosts 文 件 格式 ， 内 容 如 下 所 示 : 
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publishconf.sh 部 分 内 容 如 下 所 示 : 








# 如 果 hosts 文 件 不 存在 ， 就 调用 touch 命 令 建立 ;另外 ， 这 里 要 增加 一 个 逻辑 判断 ， 即 如 果 已 经 有 人 在 发 布 平台 了 ， 第 二 个 运 维 人 员 发 布 的 时 候 ， 一 定 要 强制 退出 。 
i hester 1 
tei 四 
touch "$hosts" 
else 
echo "此 平台 已 经 有 运 维 小 伙伴 在 发 布 ， 请 耐心 等 待 ! " 


exit 


£1, 
# 如 果 出 现 中 止 进程 的 情况 ， 捕 捉 异 常 信 号 ， 清 理 临时 文件 。 
trap "echo ' 程 序 被 中 止 ， 开 始 清理 临时 文件 ';rm -rf $hosts;exit" 1 2 3 
# 进 入 public_conf 目 录 ， 通 过 git pull 获 取 gitlab 上 最 新 的 相关 文件 配置 
/data/conf /public conf/ 

ull origin master:master 

文件 也 是 通 生生 全 这 里 没 简 化 操作 ， 例 如 git pull origin master 或 git pul1 的 时 候 ， 是 防止 此 时 可 能 会 存在 着 多 分 支 的 情况 导致 运行 报错 
人 [ $2 0 
echo 当 阐 康 轩 和 ft: 为 最 新 版 本 ， 可 以 发 布 ! " 
else 

echo "当前 配置 文件 不 是 最 新 的 ， 请 检查 后 再 发 布 " 


Es 


4 为 发 布 单 9 台 多 IP 的 逻辑 ，$# 判 断 参 数 个 数 ， 这 里 的 逻辑 判断 为 参数 大 于 或 等 于 3 时 就 是 单 平台 多 IP 发 布 。 
if [ $# >=3 ];then 
shift 1 
# 这 里 通过 shift 命 令 往 左 偏 移 一 个 位 置 参数 ， 从 而 获取 全 部 的 IP。 
echo "此 次 需要 更 新 的 机 器 IP 为 :，$@" 
for flat in $@ 
do 
echo "此 次 需要 更 新 的 机 器 IP 为 :$flat" 
Platform='`awk '/\[/{a=$0}/'"$flat"'/{print a}' $hosts | head -n1. 
# 通 过 这 段 awk 命令 组 和 来 获取 当前 的 机 器 ip 属于 哪 条 线路 ， 比 如 是 移动 或 者 网 通 或 者 电信 ， 后 续 有 相应 的 措施 。 
if [[ $platform =~ "yd" ]];then 
/usr/local/bin/ansible -i $hosts $flat -m shell -a "/home/fastcache conf/publish fastcache.sh ${public conf}_yd" 
elif [[ $platform =~ "wt" ]];then 
/usr/local/bin/ansible -i $hosts $flat -m shell -a "/home/fastcache conf/publish fastcache.sh ${public conf} wt" 
else 
/usr/local/bin/ansible -i $hosts $flat -m shell -a "/home/fastcache conf/publish fastcache.sh ${public conf} dx" 














提起 
done 


£1i 

# 程 序 正常 运行 后 ， 也 要 清理 此 临时 文件 ， 方 便 下 次 任务 发 布 。 
rm -rf $hosts 

trap "rm -rf $hosts" exit 





2.8 处 结 


























本 章 向 大 家 详细 说 明了 Shell 的 基础 语法 和 系统 相关 知识 点 ， 以 及 sed 和 awk 在 日 常 工作 中 的 使 用 案例 ， 并 用 Shell 命 令 grep 结 合 正则 表达 式 说 明了 Shell 正 则 表达 式 的 基础 用 法 。 在 后 面 的 实例 中 ， 又 根据 
备份 类 、 监 控 类 、 运 维 开发 类 向 大 家 演示 了 在 生产 环境 下 我 们 经 常用 到 的 Shell 和 脚本。 希望 大 家 可 以 结合 本 文 提 到 的 系统 相关 知识 点 ， 深 入 地 了 解 和 掌握 Shell 脚 本 的 用 法 ， 这 样 我 们 的 系统 运 维 工作 和 
DevOps 工 作 会 更 加 得 心 应 手 。 

































































第 3 章 ”利用 Vagrant 搭 建 分 布 式 环境 

































































Vagrant 是 为 了 方便 实现 虚拟 化 环境 而 设计 的 ， 使 用 Ruby 开 发 ， 基 于 VirtualBox 等 虚拟 机 管理 软件 的 接口 ， 提 供 了 一 个 可 配置 、 轻 量 级 的 便携 式 虚拟 开发 环境 。 使 用 Vagrant 可 以 很 便捷 地 建立 起 一 个 
虚拟 环境 ， 而 且 可 以 模拟 多 台 虚 拟 机 ， 这 样 我 们 平时 还 可 以 开发 机 模拟 分 布 式 系统 。 











为 什么 我 们 需要 虚拟 开发 环境 呢 ? 





我 们 经 常会 遇 到 这 样 的 问题 : 在 开发 机 上 开发 完 程序 ， 放 到 正式 环境 之 后 会 出 现 各 种 奇怪 的 问题 ， 如 Nginx 配 置 不 正确 、Go 版 本 太 低 等 等 。 所 以 我 们 需要 和 正式 环境 一 样 的 虚拟 开发 环境 ， 而 随 着 个 人 
开发 机 硬件 的 升级 ， 我 们 可 以 很 容易 在 本 机 跑 虚拟 机 ， 例 如 VMware、VirtualBox 等 。 因 此 使 用 虚拟 化 开发 环境 ， 在 本 机 可 以 运行 自己 喜欢 的 OS (Windows、Ubuntu、Mac 等 ) ， 开 发 的 程序 运行 在 虚拟 
机 后 ， 迁 移 到 生产 环境 时 可 以 避免 环境 不 一 致 导致 的 错误 。 
































虚拟 开发 环境 特别 适合 团队 中 开发 环境 、 测 试 环境 、 正 式 环境 不 同 的 场合 ， 这 样 可 以 使 整个 团队 保持 一 致 的 环境 ， 方 便 团 队 协同 进行 开发 工作 。 











3.1 Vagrant 简 单 介 绍 



































Vagrant 就 是 为 了 方便 实现 虚拟 化 环境 而 设计 的 ， 使 用 Ruby 开 发 ， 基 于 VirtualBox 等 虚拟 机 管理 软件 的 接口 ， 提 供 了 一 个 可 配置 、 轻 量 级 的 便携 式 虚 拟 开发 环境 。 使 用 Vagrant 可 以 便捷 地 建立 起 一 个 
虚拟 环境 ， 而 且 可 以 模拟 多 台 虚 拟 机 ， 这 样 我 们 平时 还 可 以 在 开发 机 模拟 分 布 式 系统 。 















































Vagrant 还 会 创建 一 些 共享 文件 夹 ， 用 于 在 主机 和 虚拟 机 之 间 共 享 代码 。 这 样 就 使 得 我 们 可 以 在 主机 上 写 程序 ， 然 后 在 虚拟 机 中 运行 。 如 此 一 来 ， 团 队 之 间 就 可 以 共享 相同 的 开发 环境 ， 不 会 再 出 现 类 
似 于 “只 有 你 的 环境 才 会 出 现 的 Bug” 这 样 的 事情 。 



























































团队 新 员工 加 入 ， 常 常会 遇 到 花 一 天 甚至 更 多 时 间 从 头 搭建 完整 的 开发 环境 的 情况 ， 而 有 了 Vagrant， 只 需要 直接 将 已 经 打包 好 的 package (里 面包 括 开发 工具 ， 代 码 库 ， 配 置 好 的 服务 器 等 ) 拿 过 来 
就 可 以 工作 了 ， 这 对 于 提升 工作 效率 非常 有 帮助 。 















































Vagrant 不 仅 可 以 用 来 作为 个 人 的 虚拟 开发 环境 工 




















目 特 别 适合 团队 使 用 ， 它 使 我 们 虚拟 化 环境 变 得 简单 ， 只 要 一 个 简单 的 命令 就 可 以 开启 虚拟 之 路 。 




















于 











3.2 ” ”Vagrant 安装 


















































实际 上 ，Vagrant 只 是 一 个 让 我 们 可 以 方便 设置 自己 想 要 的 虚拟 机 的 便携 式 工具 ， 它 底层 支持 VirtualBox、VMware 甚 至 AWS 作 为 虚拟 机 系统 ， 本 书 中 我 们 将 使 用 VirtualBox 进 行 说 明 ， 所 以 第 一 步 需 
要 先 安装 Vagrant 和 VirtualBox。 


























系统 OS: Windows 8.1 x86 64。 


VirtualBox 安 装 : VirtualBox 是 Oracle 开 源 的 虚拟 化 系统 ， 它 支持 多 个 平台 ， 我 们 可 以 到 官方 网 站 下 载 ， 地 址 为 https://www.virtualbox.org/wiki/Downloads/， 这 里 我 们 选择 的 版 本 是 “VirtualBox- 
5.1.8-111374-Win”， 安 装 过 程 很 便捷 ， 一 直选 择 下 一 步 就 可 以 完成 安装 了 。 





Vagrant 安 装 : Vagrant 软 件 的 安装 地 址 为 http://www.vagrantup.com/downloads.html， 它 的 安装 过 程 和 VirtualBox 一 样 便捷 ， 这 里 我 们 选择 的 版 本 是 “vagrant_1.8.6”， 一 步 一 步 执 行 就 可 以 完 
成 安装 。 





要 想 检测 安装 是 否 成 功 ， 可 以 打开 终端 命令 行 工 具 ， 输 入 vagrant， 看 看 程序 是 否 已 经 可 以 运行 。 如 果 不 行 ， 请 检查 一 下 Windows 环 境 变 量 的 PATH 路 径 。 


命令 结果 如 下 所 示 : 





Usage: vagrant [options] <command> [<args>] 


-Vv, --version Print the version and exit. 

-h, --help Print this help. 
Common commands: 

box manages boxes: installation, removal, etc. 

connect connect to a remotely shared Vagrant environment 

destroy stops and deletes all traces of the vagrant machine 

global-status outputs status Vagrant environments for this user 

halt stops the vagrant machine 

help shows the help for a subcommand 

init initializes a new Vagrant environment by creating a Vagra 
file 

login log in to HashiCorp's Atlas 

package packages a running vagrant environment into a box 

plugin manages plugins: install, uninstall, update, etc. 

port displays information about guest port mappings 

powershell connects to machine via powershell remoting 

Provision provisions the vagrant machine 

push deploys code in this environment to a configured destinat 
n 

rdp connects to machine via RDP 

reload restarts vagrant machine, loads new Vagrantfile configura 
on 

resume resume a suspended vagrant machine 

share share your Vagrant environment with anyone in the world 

snapshot manages snapshots: saving, restoring, etc. 

ssh connects to machine via SSH 

ssh-config outputs OpenSSH valid configuration to connect to the mac 


ne 
status outputs status of the vagrant machine 


suspend 
wp 
version 


suspends the machine 
starts and provisions the vagrant environment 
prints current and latest Vagrant version 


For help on any individual command run ‘vagrant COMMAND -h、 
Additional subcommands are available, but are either more advanced 
or not commonly used. To see all subcommands, run the command 
“vagrant list-commands. 





3.3 “使 用 Vagrant 配 置 本 地 开发 环境 











当 我 们 安装 好 VirtualBox 和 Vagrant 后 ,我 们 要 开始 考虑 在 VM 上 使 用 什么 操作 系统 了 ， 一 个 打包 好 的 操作 系统 在 Vagrant 中 称 为 Box， 即 Box 是 一 个 打包 好 的 操作 系统 环境 。 目 前 网 络 上 什么 系统 都 








有 ， 所 以 我 们 不 
































自己 去 制作 操作 系统 或 者 制作 Box。vagrantbox.es 上 面 有 我 们 熟知 的 大 多 数 操作 系统 ， 大 家 只 需要 下 载 就 可 以 了 ， 下 载 主要 是 为 了 安装 时 更 快速 ， 推 荐 大 家 下 载 后 安装 。 这 里 我 们 选择 


CentOS 6.7 x86_64 系 统 ， 下 载 地 址 为 https://github.com/CommanderK5/packer-centos-template/releases/download/0.6.7/vagrant-centos-6.7.box。 





建立 vagrant 工 作 目 录 ， 由 于 笔者 这 里 是 Windows 环 境 ， 所 以 我 选择 的 是 d:\work\depoly 目 录 ， 并 且 提 前 把 vagrant-centos-6.7.box 文 件 放 在 此 目录 下 ， 大 家 可 以 根据 自己 的 实际 环境 建立 。 





3.3.1 Vagrant 的 具体 安装 步骤 





接 下 来 我 们 就 要 通过 box 建 立 自己 的 开发 环境 ， 实 际 上 应 该 如 何 操作 呢 ? 首 先 要 进入 d:\work\depoly 目 录 ， 具 体 步 又 如 下 所 示 : 


1) 下 载 及 添加 box 镜 像 ， 操 作 命 令 如 下 所 示 (在 Windows 下 的 cmd 命 令 下 执行 ) : 





vagrant box add base 远 端的 box 地 址 或 者 本 地 的 box 文 件 名 














vagrant box add 是 添加 box 的 命令 ，box 的 名 称 可 以 自己 定义 ， 可 以 是 任意 的 字符 串 ，base 是 默认 名 称 ， 主 要 用 于 标识 添加 的 box， 后 面 的 命令 都 是 基于 这 个 标识 来 操作 的 。 























2) 我 们 执行 以 下 命令 来 建立 box 镜 像 关联 ， 如 下 所 示 : 





Vagrant box add centos67 vagrant-centos-6.7.box 





3) 初始 化 的 命令 如 下 : 





vagrant init centos67 





显示 结果 如 下 所 示 : 





A ‘Vagrantfile’ has been placed in this directory. You are now 
ready to ‘vagrant up your first virtual environment! Please read 
the comments in the Vagrantfile as well as documentation on 
‘vagrantup.com’ for more information on using Vagrant. 





这 样 就 会 在 当前 目录 生成 一 个 Vagrantfile 文 件 ， 里 面 有 很 多 配置 信息 ， 后 面 我 们 会 详细 讲解 每 一 项 的 含义 ， 但 是 默认 的 配置 就 可 以 启动 机 器 。 


4) 启动 虚拟 机 的 命令 如 下 : 





vagrant up 





结果 如 下 所 示 : 





Bringing machine 'default' up with 'virtualbox' providerhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 


一 > default: 








Importing base box 'centos67'http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 





default: Matching MAC address for NAT networkinghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: Setting the name of the VM: deploy default 1484574329264 23733 
default: Clearing any previously set network interfaceshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: Preparing network interfaces based on configurationhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: Adapter 1: nat a 
一 > default: Forwarding portshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: 22 (guest) => 2222 (host) (adapter 1) 
一 > default: Booting VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
一 > default: Waiting for machine to boot. This may take a few minuteshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: SSH address: 127.0.0.1:2222 
default: SSH username: vagrant 
default: SSH auth method: private key 
default: 
default: Vagrant insecure key detected. Vagrant will automatically replace 
default: this with a newly generated keypair for better security. 
default: 
default: Inserting generated public key within guesthttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: Removing insecure key from the guest if it's presenthttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: Key inserted! Disconnecting and reconnecting using new SSH keyhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Te 
default: Machine booted and ready! 
default: Checking for guest additions in VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: The guest additions on this VM do not match the installed version 加 
default: VirtualBox! In most cases this is fine, but in rare cases it can 
default: prevent things such as shared folders from working properly. If yo 
see 
default: shared folder errors, please make sure the guest additions within 
he 
default: virtual machine match the Version of VirtualBox you have installed 
on 
default: your host and reload your WWM. 
default: 
default: Guest Additions Version: 4.3.30 
default: VirtualBox Version: 5.1 
一 > default: Mounting shared foldershttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
default: /vagrant => D:/work/deploy 
然后 我 们 通过 vagrant ssh 命 令 查看 新 建 虚拟 机 的 SSH 配 置信 息 ， 命 令 结果 如 下 所 示 : 





“ssh executable not found in any directories in the %PATH% variable. Is an 
SSH client installed? Try installing Cygwin, MinGW or Git, all of which 
contain an SSH client. Or use your favorite SSH client with the following 


authentication information shown below: 


Host; 127.0.0.1 
Port: 2222 
Username: vagrant 


Private key: D:/work/deploy/.vagrant/machines/default/virtualbox/private key 

















5) 这 样 我 们 就 可 以 在 Xshell5.0 下 面 通过 本 地 的 2222 端 口 ， 























连接 到 此 depoly 虚 拟 机 后 ， 我 们 可 | 











df-h 命 令 查看 磁盘 的 分 配 情况 ， 命 令 结 果 如 下 所 示 : 


户 为 vagrant， 私 钥 为 private_key 访 问 此 虚拟 机 了 。 





Filesystem Size Used Avail Uses Mounted on 


/dev/mapper/VolGroup-lv_root 

8.1G 1.2G 6.5G 15% / 
tmpfs 309M 0 309M 0% /dev/shm 
/dev/sdal 477M 57M 396M 13% /boot 
vagrant 74G 65G 9.3G 88% /vagrant 








在 这 里 ， 其 实 /vagrant 映 射 的 是 D:\work\depoly 目 录 ,方便 我 们 与 开发 机 器 进行 交互 ， 





























是 一 个 很 人 性 化 的 设计 。 




















此 时 的 登入 用 户 是 vagrant， 我 们 可 以 输入 以 下 命令 切换 到 root 用 户 ， 如 下 所 示 : 
sudo su 
成 功 切换 以 后 我 们 可 以 用 id 命 令 进行 验证 ， 结 果 如 下 所 示 : 











uid=500 (vagrant) gid=500 (vagrant) groups=500 (vagrant) 


3.3.2 ” Vagrant 配置 文件 详解 














在 我 们 的 虚拟 机 所 在 的 目录 下 存在 一 个 文件 Vagrantfile, 里 








包含 大 量 的 配置 信息 ， 主 要 包括 三 个 方 











的 ， 配 置 语法 也 是 Ruby 的 ， 但 提供 了 详细 的 注释 ， 所 以 我 们 知道 如 


1.HOSTNAME 设 置 


何 配置 一 些 基本 项 。 


HOSTNAME 的 设置 非常 简单 ， 在 Vagrantfile 中 加 入 下 面 这 行 就 可 以 了 : 








config.vm.hostname = "depoly" 








的 配 








: 虚拟 机 的 配置 、SSH 配 置 


、Vagrant 的 一 些 基础 配置 。Vagrant 虽 然 是 使 用 Ruby 开 发 








设置 HOSTNAME 名 是 非常 有 必要 的 ， 因 为 当 我 们 有 很 多 虚拟 机 时 ， 都 是 依靠 HOST-NAME 来 进行 识别 的 ， 位 置 可 以 选择 直接 放 在 config.vm.box 下 再 






































即 可 ， 如 下 所 示 : 














# Every Vagrant development environment requires a box. 
# boxes at https://atlas.hashicorp.com/search. 
config.vm.box = "centos67" 
config.vm.hostname = "depoly" 


2. 内 存 设置 





内 存 设置 的 具体 方法 如 下 : 


You can search for 





config.vm.provider "virtualbox" do |vb| 
# Display the VirtualBox GUI when booting the machi 
vb.gui = true 


# Customize the amount of memory on the WM: 
vb.memory = "1024" 
end 


# 
# 
# 
# 
# 
# 
# 


ne 


大 家 关注 下 此 段 配置 ， 如 果 是 要 更 改 内 存 配 置 的 时 候 ， 将 # 号 去 掉 即 可 ， 如 下 所 示 : 





config.vm.provider "virtualbox" do |vb| 


# Display the VirtualBox GUI when booting the machine 
vb.gui = true # 此 项 如 果 开 启 的 话 会 开启 图 形 界面 ， 大 家 可 以 根据 个 人 喜好 来 选择 








# Customize the amount of memory on the WM: 
vb.memory = "1024" 
end 





通过 以 上 操作 就 可 以 更 改名 为 depoly 机 器 的 虚拟 机 内 存 配 置 为 


3. 网 络 配置 

















Vagrant 中 一 共 提供 了 三 种 网 络 配 : 








。 这 几 种 配 





(1) 端口 映射 (Forwarded port) 


这 种 方式 ， 就 是 把 本 机 和 虚拟 机 的 端口 进行 映射 。 比 如 : 笔者 配置 本 机 计算 机 的 8080 端 





1024M。 


可 以 在 vagrant 的 配置 文件 中 看 到 。 














为 虚拟 机 的 80 端 











， 这 样 笔者 访问 该 机 器 的 8088 端 

















，Vagrant 会 把 请 求 转 发 到 虚拟 机 的 80 端 口 去 处 理 。 








config.vm.network :forwarded port, guest: 80, host: 8088 











通过 这 种 方式 ， 我 们 可 以 有 针对 性 地 把 虚拟 机 的 某 些 端口 公布 到 外 网 让 其 他 人 去 访问 。 





(2) 私有 网 络 (Private network) 


既然 是 private， 那 么 这 种 方式 只 允许 主机 访问 虚拟 机 ， 就 好 像 是 搭建 了 一 个 私有 的 Linux 集 群 ， 且 只 有 一 个 出 口 ， 就 是 该 主机 。 





config.vm.network "private network", ip: "192.168.1.21" 





使 用 这 种 方式 非常 安全 ， 因 为 只 有 一 个 出 口 ， 而 且 对 办 公 室 网 络 无 任何 影响 (各 VM 虚拟 机 之 间 不 能 ping 通 和 互相 连接 ) ， 系 统 默 认 就 是 私有 网 络 。 








(3) 公有 网 络 (Public network) 


虚拟 机 享受 实体 机 器 一 样 的 待遇 ， 一 样 的 网 络 配置 ， 即 bridge 模 式 。 设 定语 法 如 下 : 





config.vm.network "public network", ip: "192.168.1.120" 





这 种 网 络 配置 方式 方便 团队 开发 ， 别 人 也 可 以 访问 你 的 虚拟 机 。 当 然 ， 你 和 你 的 虚拟 机 必须 在 同一 个 网 段 中 。 














如 果 更 新 配置 以 后 ， 想 要 更 新 后 的 配置 生效 ， 可 以 使 用 命令 vagrant reload 重 启 虚 拟 机 。 


3.3.3 Vagrant 常 用 命令 详解 


























Vagrant 有 很 多 比较 实用 的 命令 ， 熟 练 掌握 的 话 对 平时 的 工作 有 很 大 帮助 ， 具 体 如 下 。 

















显示 当前 已 经 添加 的 box 列 表 : 





vagrant box list 





删除 相应 的 box: 





vagrant box remove 





停止 当前 正在 运行 的 虚拟 机 并 销毁 所 有 创建 的 资源 : 





vagrant destroy 





跟 操 作 真 实 机 器 一 样 ， 关 闭 虚拟 机 器 : 





vagrant halt 





打包 命令 ,可 以 把 当前 运行 的 虚拟 机 环境 进行 打包 : 





vagrant package 




















重新 启动 虚拟 机 ， 主 要 用 于 重新 载 入 配置 文件 : 


























Vagrant reload 





输出 用 于 SSH 连 接 的 一 些 信息 : 








vagrant ssh-config 





挂 起 当前 的 虚拟 机 : 





vagrant suspend 





恢复 前 面 被 挂 起 的 状态 : 





Vagrant resume 





获取 当前 虚拟 机 的 状态 。 





vagrant status 














这 些 命令 都 比较 好 记 ， 大 家 熟练 掌握 以 后 就 可 以 更 好 地 管理 vagrant 虚 拟 机 器 了 。 等 虚拟 机 启动 以 后 进行 一 些 系统 初始 化 的 工作 (例如 安装 vim 编 辑 器 和 关闭 iptables 及 SELinux 等 ) ， 此 外 ， 还 可 以 升级 
我 们 的 Python 版 本 为 2.7.9、Go 版 本 为 1.7.3， 然 后 将 其 打包 ， 命 令 如 下 所 示 : 














Vagrant Package 





结果 如 下 所 示 : 





一 > default: Attempting graceful shutdown of VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 

==> default: Clearing any previously set forwarded portshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
一 > default: Exporting VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 

==> default: Compressing package to: D:/work/deploy/package.box 














完成 以 上 步骤 后 ， 我 们 可 以 把 这 个 package.box 放 进 优盘 供 自己 的 工作 机 器 使 用 ,或 者 放 进 公 司 内 部 的 FTP 服 务 器 里 ， 供 团队 的 其 他 开发 同事 们 一 起 使 用 。 





3.4 ”使 用 Vagrant 搭 建 分 布 式 环境 

















前 面 这 些 单 主机 和 单 虚拟 机 主要 是 用 来 自己 做 开发 机 的 ， 下 面 开始 向 大 家 介绍 如 何在 单机 上 通过 虚拟 机 来 打造 分 布 式 造 集群 系统 。 这 种 多 机 器 模式 特别 适合 以 下 几 种 场景 : 
































“ 快速 建立 产品 网 络 的 多 机 器 环境 集群 ， 例 如 Web 服 务 器 集群 、DB 服 务 器 集群 等 。 
“ 建立 一 个 分 布 式 系统 ， 学 习 它 们 是 如 何 交互 的 。 
“ 测试 API 和 其 他 组 件 的 通信 。 


“ 可 进行 容 灾 模拟 ， 如 网 络 断 网 、 机 器 死机 、 连 接 超 时 等 情况 。 





Vagrant 支 持 单机 模拟 多 台 机 器 ， 而 且 支 持 一 个 配置 文件 Vagrntfile 就 可 以 跑 分 布 式 系统 ， 我 们 建立 /workydistributed 作 为 分 布 式 环境 搭建 的 工作 目录 。 然 后 利用 下 列 的 配置 文件 生成 3 台 VM 机 器 ， 其 
中 一 台 VM 机 器 的 hostname 名 为 server， 另 外 两 台 hostname 分 别名 为 vagrant1 和 vagrant2，CPU 为 四 核 、 内 存 大 小 为 512M。 另 外 ， 这 里 为 了 方便 虚拟 机 之 间 进 行 交互 ， 例 如 SSH 无 密码 登录 ， 这 里 选择 
的 是 public_network 模 式 ( 即 bridge 模 式 ) ， 配 置 文件 内 容 为 : 





Vagrant .configure ("2") do |configl 
config.vm.define "server" do |vbl 
config.vm.provider "virtualbox" do |v|l 
V.memory = 512 
V.cpus = 4 
end 
vb.vm.host name = "server" 
vb.vm.network :public network, ip: "10.0.15" 
vb.vm.box = "centos67" 
end 


config.vm.define "vagrantl" do |vbl 
config.vm.provider "virtualbox" do lvl 
V.memory = 512 
Vv.cpus = 4 
end 
vbh.vm.host name = "vagrant1" 
vb.vm.network :public network, ip: "10.0.0.16" 
vb.vm.box = "centos67™ 
end 


config.vm.define "vagrant2" do |vbl 
config.vm.provider "virtualbox" do lvl 
V.memory = 512 
Vv.cpus = 4 
end 
vb.vm.host name = "vagrant2" 
vb.vm.network :public network, ip: "10.0.0.17" 
vb.vm.box = "centos67" 
end 
end 

















利用 vagrant 启 动 各 VM 机 器 的 命令 为 : 





vagrant up 





gistributed 目 录 和 depoly 目 录 都 是 独立 目录 ， 有 各 自 的 Vagrantfile 文 件 ， 如 果 后 面 要 执行 vagrant halt 也 只 会 关闭 当前 目录 工作 的 VM 机 器 。 


结果 如 下 所 示 (摘录 部 分 如 下 ) : 





: Running 'Pre-boot' VM customizationshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
: Booting VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
==-> vagrant2: Waiting for machine to boot. This may take a few minuteshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/.. 
vagrant2: SSH address: 127.0.0.1:2202 a 
vagrant2: SSH username: vagrant 
vagrant2: SSH auth method: private key 
vagrant2: Warning: Remote connection disconnect. Retryinghttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
vagrant2: 
vagrant2: Vagrant insecure key detected. Vagrant will automatically replac 
vagrant2: this with a newly generated keypair for better security. 
vagrant2: 
vagrant2: Inserting generated public key within guesthttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
vagrant2: Removing insecure key from the guest if it's presenthttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
vagrant2: Key inserted! Disconnecting and reconnecting using new SSH keyhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/T 
==> vagrant2: Machine booted and ready! es 
一 > vagrant2: Checking for guest additions in VMhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
vagrant2: The guest additions on this VM do not match the installed versio 加 





of 
vagrant2: VirtualBox! In most cases this is fine, but in rare cases it can 
vagrant2: prevent things such as shared folders from working properly. If 
u see 
vagrant2: shared folder errors, please make sure the guest additions withi 


the 

vagrant2: virtual machine match the version of VirtualBox you have install 
on 

vagrant2: your host and reload your WM. 

vagrant2: 


vagrant2: Guest Additions Version: 4.3.30 

vagrant2: VirtualBox Version: 5.1 

vagrant2: Setting hostnamehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 

vagrant2: Configuring and enabling network interfaceshttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
vagrant2: Mounting shared foldershttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 

vagrant2: /vagrant => D:/work/distributed | 




















每 台 VM 机 器 的 详细 SSH 配 置信 息 可 以 用 如 下 命令 查看 : 








vagrant ssh-config 





命令 如 下 所 示 : 





Host server 
HostName 127.0.0.1 
User vagrant 
Port 2200 
UserKnownHostsFile /dev/null 
StrictHostKeyChecking no 
PasswordAuthentication no 
IdentityFile D:/work/distributed/.vagrant/machines/server/virtualbox/private 
ey 
IdentitiesOnly yes 
LogLevel FATAL 


Host vagrantl 
HostName 127.0.0.1 
User vagrant 
Pert 2201 
UserKnownHostsFile /dev/null 
StrictHostKeyChecking no 
PasswordAuthentication no 


IdentityFile D:/work/distributed/ .vagrant/machines/vagrant1/virtualbox/Priva 
_key 

IdentitiesOon1y yes 

LogLevel FATAL 


Host vagrant2 
HostName 127.0.0.1 
User vagrant 
Port 2202 
UserKnownHostsFile /dev/null 
StrictHostKeyChecking no 
PasswordAuthentication no 
IdentityFile D:/work/distributed/.vagrant/machines/vagrant2/virtualbox/priva 
key 
IdentitiesOonly yes 
LogLevel FATAL 





如 果 是 查看 单机 的 SSH 配 置 情况 ， 例 如 hostname 名 为 vagrant2 的 机 器 的 SSH 配 置信 息 ， 可 以 用 下 面 的 命令 查看 : 





vagrant ssh vagrant2 





命令 如 下 所 示 : 





“ssh ”executable not found in any directories in the %PATH% variable. Is an 
SSH client installed? Try installing Cygwin, MinGW or Git, all of which 
contain an SSH client. Or use your favorite SSH client with the following 
authentication information shown below: 


Hosts 127.0.0.1 

Port: 2202 

Username: vagrant 

Private key: D:/work/distributed/.vagrant/machines/vagrant2/virtualbox/private key 





虚拟 机 分 别 启动 后 ， 我 们 可 以 通过 vagrant:vagrant 账 号 和 密码 进行 SSH 连 接 ， 建 议 以 server 机 器 为 跳板 机 ， 分 配 root 用 户 的 公 钥 到 vagrant1 和 vagrnat2 机 器 上 面 (后 期 如 果 有 多 余 的 VM 机 器 ， 以 此 类 





推 ) 。 然 后 大 家 可 以 针对 需求 搭建 各 自 的 分 布 式 环境 (比如 基于 LVS 的 Web 集 群 ) ， 进 行 相关 测试 工作 。 


参考 文档 : https://github.com/astaxie/go-best-practice/blob/master/ebook/zh/01.1.md。 


3.5 人 小结 








Vagrant 在 工作 中 除了 能 够 方便 地 在 团队 之 间 共 享 开 发 环境 以 外 ， 另 外 一 个 优点 就 是 能 在 节约 系统 资源 的 前 提 下 ， 方 便 快捷 地 搭建 分 布 式 环境 。 现 在 很 多 工作 都 会 涉及 分 布 式 场景 ， 希 望 大 家 能 够 熟练 





























地 掌握 其 用 法 ， 进 一 步 加 强 工作 和 学 习 的 效率 。 


第 4 章 ” 轻 量 级 自动 化 运 维 工具 介绍 


随 着 集群 环境 的 规模 越 来 越 大 ， 网 站 需要 管理 和 维护 的 机 器 也 越 来 越 多 ， 比 如 笔者 现在 所 在 的 CDN 公 司 ， 线 上 提供 的 业务 机 器 达到 8000 多 台 的 规模 ， 按 照 业 务 来 划分 平台 。 如 果 单纯 靠 手 动 维护 的 话 ， 























就 算 单个 平台 工作 量 也 会 很 多 。 这 个 时 候 我 们 需要 找 一 些 轻 量 级 的 简单 易 用 的 自动 化 运 维 工具 来 进行 日 常 的 运 维 工作 ， 所 以 这 里 简单 给 大 家 介绍 基于 Python 语 
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开发 的 pssh 和 Fabric 工 具 。 








此 外 ， 目 前 笔者 公司 的 海外 业务 采用 的 是 AWS 数 据 中 心 ， 且 采用 的 是 分 布 式 方案 ， 在 全 球 都 有 数据 中 心 。 数 据 中 心 采用 的 是 AWS EC2 机 器 ， 在 核心 的 数据 中 心里 ，EC2 机 器 数量 就 已 经 比较 多 了 ， 而 且 
在 业务 繁忙 的 时 候 ， 会 通过 AWS AMI (Amazon 系 统 映像 ) 直接 上 线 几 十 台 相 同业 务 的 EC2 机 器 ， 机 器 类 型 、 系 统 应 用 及 配置 文件 基本 上 一 模 一 样 ， 很 多 时 候 需 要 修改 相同 的 配置 文件 ， 执 行 相同 的 操作 ， 
这 个 时 候 为 了 避免 重复 性 的 劳动 就 需要 用 到 自动 化 运 维 工 具 了 。 轻 量 级 自动 化 运 维 工具 Fabric 在 这 里 是 首选 。Fabric 是 基于 Python 语言 开发 的 ， 配 置 简单 ， 也 是 DevOps 开 发 组 的 同事 们 的 最 爱 ， 都 很 容易 






























































接受 。 为 了 方便 自动 化 运 维 ， 我 们 在 每 个 数据 中 心 都 部 署 了 跳板 机 ， 其 物理 拓扑 图 如 图 4-1 所 示 。 
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System Admin 跳板 机 








图 4-1 ”跳板 机 物理 拓扑 











部 署 跳板 机 的 好 处 有 : 


“ 基于 安全 性 考虑 ， 只 有 跳板 机 开放 了 公 网 IP 和 SSH-key 登 录 ， 其 他 业务 机 器 默认 只 允许 内 网 登录 ， 公 网 IP 地 址 不 对 外 开放 。 


“ 方便 自动 化 运 维 部 署 ， 跳 板 机 上 面 做 了 免 密 码 登 录 ， 可 以 直接 通过 SSH 命 令 操作 其 他 业务 机 器 。 





一 
~ 一 
< 他 
本 
mm ~ 全 
~ 
一 
me 


线 上 业务 机 天 


“ 权限 控制 管理 ， 跳 板 机 上 面部 署 了 几 套 key， 分 别 对 应 不 同 的 权限 分 配 用 户 ， 公 司 的 同事 按照 不 同 的 职能 获得 相应 的 私 钥 登 录 跳 板 机 ， 分 配 的 相应 权限 也 是 不 一 样 的 。 


“ 部 署 跳板 机 应 该 注意 的 事项 : 
“ 网 络 质 量 要 好 ， 因 为 跳板 机 要 求 是 质量 很 好 的 BGP 机 房 ( 这 个 时 候 需 要 走 公 网 连接 ) 。 要 特别 注意 安全 的 问题 ， 适 当 控 制 主机 登陆 还 是 有 好 处 的 ， 可 以 通过 iptables 控 制 允 许 登 陆 的 IP 地 址 。 


“ 如果 是 AWS 云 主机 数据 中 心 ， 可 以 考虑 在 每 个 数据 中 心 部 署 一 个 跳板 机 (因为 AWS 每 个 数据 中 心 都 是 独立 的 ， 只 能 通过 公 网 连接 。 跳 板 机 与 机 房 其 他 机 房 通 过 内 网 SSH 连 接 ， 不 需要 走 公 网 ， 这 样 设 
计 的 好 处 是 可 以 减少 因为 公 网 链 路 质量 不 好 而 引发 的 各 种 链接 问题 ) 。 


Oon Linux AMI 是 由 Amazon Web Services 提 供 的 受 支持 和 维护 的 Linux 上 映像， 用 于 Amazon Elastic Compute Cloud (Amazon EC2) ， 引 在 为 Amazon EC2 上 运行 的 应 用 程序 提供 稳定 、 安 全 和 高 性 能 的 
执行 环境 。 它 支持 最 新 的 EC2 实 例 类 型 功能 ， 并 包括 可 与 AWS 轻 松 集 成 的 软件 包 。Amazon Web Services 为 运行 Amazon Linux AMI 的 所 有 实例 提供 持续 的 安全 性 和 维护 更 新 。Amazon Linux AMI 对 于 Amazon 


了 EC2 用 户 没有 额外 费用 。 


4.1 轻 量 级 自动 化 运 维 工具 pssh 介 绍 








pssh 是 一 个 由 python 编 写 ， 可 以 在 多 台 服 务 器 上 执行 命令 的 工具 ， 同 时 支持 拷贝 文件 ， 在 同类 工具 中 较为 出 色 。 类 似 pdsh， 但 相对 于 pdsh 更 为 简便 (因为 pdsh 需 要 安装 客户 端 ， 项 目地 
址 : https://code.google.com/p/parallel-ssh/。 















































我 们 可 以 用 以 下 命令 来 查看 pssh 的 具体 用 法 ， 其 命令 如 下 
pssh -help 
命令 结果 如 下 所 示 : 





Usage: pssh [OPTIONS] command [http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/...] 


Options: 
--version show program's version number and exit 
--help show this help message and exit 


-h HOST FILE, --hosts=HOST FILE 
hosts file (each line "“[user@]host[:port]") 
-HB HOST_STRING, --host=HOST STRING 


additional host entries ("[user@]host[ :port]") 
-1 USER, --user=USER username (OPTIONAL) 
-p PAR, --par=PAR max number of parallel threads (OPTIONAL) 


-oO OUTDIR, --outdir=OUTDIR 
output directory for stdout files (OPTIONAL) 
-e ERRDIR, --errdir=ERRDIR 
output directory for stderr files (OPTIONAL) 
-t TIMEOUT, --timeout=TIMEOUT 
timeout (secs) (0 = no timeout) per host (OPTIONAL) 
-0O OPTION, --option=OPTION 
SSH option (OPTIONAL) 
-Vv, -~-verbose turn on warning and diagnostic messages (OPTIONAL) 
-A, --askpass Ask for a password (OPTIONAL) 
-x ARGS, --extra-args=ARGS 
Extra command-line arguments, with processing for 
spaces, quotes, and backslashes 
-X ARG, --extra-arg=ARG 
Extra command-line argument 


ee inline aggregated output and error for each server 
-~-inline-stdout inline standard output for each server 

-I, ~--send-input read from standard input and send as input to ssh 
-B; -print Print output as we get it 


Example: pssh -h hosts.txt -1 irb2 -o /tmp/foo uptime 








其 参数 详细 说 明 如 下 : 

: -H: 此 参数 后 面 跟 一 个 远程 主机 或 IP 地 址 ， 格 式 为 [user@host[:port]， 例 如 ec2@192.168.1.11。 
“ -h: 此 参数 后 面 跟 一 个 远程 主机 列表 文件 。 

“41: 远程 机 器 的 用 户 名 。 

. -p: 指定 pssh 最 大 并 行进 程 数 。 

“ -0; 输出 内 容重 定向 到 一 个 文件 。 

“ -e: 执行 错误 重 定向 到 一 个 文件 。 

“ -t: 设置 命令 执行 的 超时 时 间 。 

“ -A: 提示 输入 密码 并 且 把 密码 传递 给 ssh。 

“ -DO: 设置 sh 参数 的 具体 配置 ， 参 照 sh_config 配 置 文件 。 

“x; 传递 多 个 SSH 命 令 ， 多 个 命令 用 空格 分 开 。 

“ -又 : 同 -x, 但 是 一 次 只 能 传递 一 个 命令 ， 比 如 不 规则 的 SSH 端 口 ， 例 如 -X-p'12233'。 
“<; 显示 标准 输出 和 标准 错误 在 每 台 host 执 行 完毕 后 的 结果 。 


“ -P: 执行 时 输出 执行 信息 。 


4.1.1 ”pssh 的 安装 


如 果 系 统 是 最 小 化 安装 的 话 ， 记 得 先 提前 安装 好 gcc、gcc-c++、make 这 些 基础 开发 包 和 python-pip (系统 为 CentOS6.8 x86 64) : 





yum -~y install make gcc gcc++ python-devel python-pip 





pssh 安 装 : 





wget https://pypi.Python.org/packages/60/9a/8035af3a7d3d1617ae2c7c174efa4f154e5bf9c24b36b623413b38be8e4a/pssh-2.3.1.tar.gZz 
tar xvf pssh-2.3.1.tar.gz 

cd pssh-2.3.1 

python setup.py install 





命令 执行 成 功 以 后 ,会 有 如 下 显示 : 





running build 

running build py 

running build scripts 

running install 1ib 

running install scripts 

changing mode of /usr/bin/prsync to 755 

changing mode of /usr/bin/pscp to 755 

changing mode of /usr/bin/pssh to 755 

changing mode of /usr/bin/pssh-askpass to 755 

changing mode of /usr/bin/pnuke to 755 

changing mode of /usr/bin/pslurp to 755 

running install data 

running install egg info 

Removing /usr/1lib/python2.6/site-packages/pssh-2.3.1-py2.6.egg-info 
Writing /usr/lib/python2.6/site-packages/pssh-2.3.1-py2.6.egg-info 





安装 完成 以 后 有 以 下 几 个 命令 : 
“ pssh: 在 多 个 主机 上 并 行 地 运行 命令 。 
. pscp: 把 文件 并 行 地 复制 到 多 个 主机 上 。 
prsync; 通过 rsync 协议 把 文件 高 效 地 并 行 复制 到 多 个 主机 上 。 
“ pslurp: 把 文件 并 行 地 从 多 个 远程 主机 复制 到 中 心 主机 上 。 
“ pnuke: 并 行 地 在 多 个 远程 主机 上 杀 死 进程 。 


人 @@ 寺 ss 最 多 可 以 生成 32 个 进程 ， 并 行 地 连接 各 个 节点 。 如 果 远程 命令 在 60 秒 内 没有 完成 ， 连 接 就 会 终止 。 如 果 命令 需要 更 多 的 处 理 时 间 ， 可 以 使 用 -t 设 置 更 长 的 到 期 时 间 。 (parallel-scp 和 parallel-rsyne 
没有 黑 认 的 到 期 时 间 ， 但 是 可 以 用 -t 指 定 到 期 时 间 。) 


4.1.2 ”pssh 的 使 用 








首先 需要 在 跳板 机 上 面 配 置 密 钥 ， 免 密码 访问 管理 机 器 ， 这 步 操 作 大 家 应 该 都 熟悉 ， 此 处 略 过 具体 过 程 ， 这 里 拿 3 台 主 机 进行 说 明 ， 其 跳板 机 上 面 /etc/hosts 文 件 内 容 如 下 所 示 : 

















10.0.0.15 server 
10.0.0.16 vagrant1l 
10.0.0.17 vagrant2 





hosts.list 文 件 内 容 如 下 所 示 : 








1) 查看 客户 端 机 器 的 系统 负载 ， 执 行 命令 如 下 所 示 : 





pssh -h hosts.list -1 root -P “uptime” 





命令 结果 如 下 所 示 : 





10.0.0.17: 03:39:45 up 22 min, 0 users, load average: 0.00, 0.00, 0.00 
[1] 03:39:45 [SUCCESS] 10.0.0.17 
10.0.0.16: 03:39:45 up 22 min, 0 users, load average: 0.03, 0.03, 0.00 
[2] 03:39:45 [SUCCESS] 10.0.0.16 





2) 在 各 个 客户 端 机 器 上 面 执行 安装 vim 的 命令 ， 命 令 如 下 所 示 : 





pssh -h hosts.list -1 root -P "yum -~y install sysstat" -t 600 








命令 结果 如 下 所 示 : 
10.0.0.17: 
Installed: 


sysstat.x86 64 0:9.0.4-31.el16 
10.0.0.17: Complete! 
i0.0.0.16: 

Verifying : sysstat-9.0.4-31.e16.x86 64 
1/1 
[1] 03:48:51 [SUCCESS] 10.0.0.17 
10.0.0.16: 
Installed: 

sysstat.x86 64 0:9.0.4-31.el16 
10.0.0.16: Complete! 
[2] 03:48:51 [SUCCESS] 10.0.0.16 





3) 复杂 文件 到 远程 机 器 的 指定 目录 ， 命令 如 下 所 示 : 





[root@server ~]# pscp -h hosts.list -1 root -r /usr/local/src /tmp/tmp 





结果 如 下 所 示 : 





[1] 03:59:30 [SUCCESS] 10.0.0.16 
[2] 03:59:30 [SUCCESS] 10.0.0.17 








在 实际 工作 中 我 们 会 发 现 ， 其 实 pssh 还 是 有 很 多 缺点 的 ， 如 下 所 示 : 
“ 如 果 主机 机 器 多 的 话 ， 整 个 显示 结果 其 实 是 无 序 的 ， 我 们 没有 办 法 获取 其 结果 反馈 。 
: 复杂 些 的 角色 分 类 支持 得 不 是 很 好 。 


“ 没有 提供 API， 不 方便 二 次 开发 。 











所 以 这 个 时 候 我 们 需要 找 功 能 更 为 强大 的 自动 化 运 维 工具 ， 这 里 我 们 推荐 大 家 使 用 Fabric。 








4.2 ” 轻 量 级 自动 化 运 维 工 具 Fabric 介 绍 














Fabric 是 基于 Python (2.5 及 以 上 版 本 ) 实现 的 SSH 命 令 行 工具 ， 简 化 了 SSH 的 应 用 程序 部 署 及 系统 管理 任务 。 它 提供 了 系统 基础 的 操作 组 件 ， 可 以 实现 本 地 或 远程 Shell 命 令 ， 包 括 文件 上 传 、 下 载 、 脚 
本 执行 及 完整 执行 日 志 输出 等 功能 。Fabric 的 官方 地 址 为 http://www.fabfile.org， 目 前 最 高 版 本 为 1.30。 














4.2.1 ”Fabric 的 安装 





Fabric 的 安装 可 以 选择 用 Python 的 pip、easy_install 及 源码 安装 方式 ， 可 以 很 方便 地 解决 包 依赖 关系 ， 大 家 可 以 自行 根据 系统 环境 选择 最 优 的 安装 方法 ， 如 果 选 择 pip 或 easy_install 安 装 方式 ， 其 命令 
如 下 (如 果 系 统 是 最 小 化 安装 的 话 ， 记 得 先 提前 安装 好 gcc、gcc-c++、make 这 些 基础 开发 包 和 python-pip， 系 统 为 CentOS 6.8 x86 64) : 





yum -~y install make gcc gcc++ python-devel Python-pip openssl-devel 
























































pip 是 安装 python 包 的 工具 ， 具 有 提供 安装 包 、 列 出 已 经 安装 的 包 、 升 级 包 以 及 卸载 包 的 功能 ， 我 们 可 以 通过 pip 工 具 直接 安装 ， 命 令 如 下 : 





pip install fabric 





这 里 推荐 源码 安装 ， 安 装 步骤 如 下 所 示 : 





yum -Y install python-setuptools 

cd /usr/local/src 

wget https://pypi.python.org/packages/de/cd/adlebe31ea8143b4f1458283971a7806f7a6062ca26b01c956c6c176597a/Fabric-1.13.1.tar.gz 
tar wuf Fabric-l.13.1,.tar.gz 

cd Fabric-l.13.1 

python setup.py install 





安装 过 程 中 如 果 有 如 下 报错 : 





Installed /usr/lib/python2.6/site-packages/Fabric-1.13.1-py2.6.egg 

Processing dependencies for Fabric==1.13.1 

Searching for cryptography>=1.1 

Reading http://pypi.python.org/simple/cryptography/ 

Best match: cryptography 1.8.1 

Downloading https://pypi.python.org/packages/ec/5f/d5bc241d06665eed93cd8d3aa7198024ce7833af7a67f6dc92df94e00588/cryptography-1.8.1.tar.gz#md5=9f28a9c141995cd230090976b4fac3fb 
Processing cryptography-1.8.1.tar.gz 

Running cryptography-1.8.1/setup.py -q bdist egg --dist-dir /tmp/easy instal1-4Wjw7d/cryptography-1.8.1/egg-dist-tmp-E9ev8u 

error: Installed distribution cffi 0.6 conflicts with requirement cffi>=1.4.1 





该 报错 说 明 系 统 中 的 cffi 版 本 过 低 ， 这 里 需要 的 版 本 至 少 为 1.4.1， 所 以 需要 源码 安装 下 载 cffi。 





wget https://pypi.python.org/packages/5b/b9/790f8eafcdab455bcd3bd908161f802c9ceSadbf702a83aa7712fcc345b7/cffi-1.10.0.tar.gz 
tar xvf cffi-1.10.0.tar.gz 

Cd effi-l ,10.0 

python setup.py install 





有 如 下 字样 则 说 明 安 装 成 功 了 : 





Installed /usr/1ib64/python2.6/site-packages/cffi-1.10.0-py2.6-linux-x86 64.egg 
Processing dependencies for cffi==1.10.0 
Searching for pycparser==2.09.1 

Best match: pycparser 2.09.1 

Adding pycparser 2.09.1 to easy-install.pth file 


Using /usr/lib/python2.6/site-packages 
Finished Processing dependencies for cffi==1.10.0 





我 们 继续 安装 Fabirc-1.13.1 版 本 ， 命 令 如 下 所 示 : 





cd Fabric-l13.1 
python setup.py install 








安装 结果 如 下 ， 如 果 出 现 以 下 字样 则 表示 fabirc 已 经 成 功 安装 : 





Using /usr/lib/python2.6/site-packages/paramiko-2.1.2-py2.6.egg 
Searching for pyasnl==0.2.3 

Best match: pyasnl 0.2.3 

Processing pyasn1-0.2.3-py2.6.egg 

pyasnl 0.2.3 is already the active version in easy-install.pth 


Using /usr/lib/python2.6/site-packages/pyasn1-0.2.3-py2.6.egg 
Searching for cffi==1.10.0 

Best match: cffi 1.10.0 

Processing cffi-1.10.0-py2.6-linux-x86_64.egg 

Adding cffi 1.10.0 to easy-install.pth file 


Using /usr/1ib64/python2.6/site-packages/cffi-1.10.0-py2.6-linux-x86_64.egg 


Searching for distribute==0.6.10 

Best match: distribute 0.6.10 

Adding distribute 0.6.10 to easy-install.pth file 
Installing easy install script to /usr/bin 
Installing easy install-2.6 script to /usr/bin 


Using /usr/lib/python2.6/site-packages 

Searching for pycparser==2.09.1 

Best match: pycparser 2.09.1 

Adding pycparser 2.09.1 to easy-install.pth file 


Using /usr/lib/python2.6/site-packages 
Searching for ordereddict==]1 .2 

Best match: ordereddict 1.2 

Adding ordereddict 1.2 to easy-install.pth file 


Using /usr/1ib64/python2.6/site-packages 
Finished processing dependencies for Fabric==1.13.1 





下 面 检 查 fabric 模 块 是 否 已 正常 安装 成 功 ， 如 果 import fabirc 没 有 任何 错误 提示 则 表示 安装 成 功 ,命令 如 下 所 示 : 





Python 2.6.6 (r266:84292, Jul 23 2015, 15:22:56) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-11)] on linux2 


Type "help", "copyright", "credits" or "license" for more information. 
>>> import fabric 
py 





这 个 时 候 系统 应 该 已 有 Fabric 的 命令 行 fab 文 件 存在 ， 执 行 如 下 命令 定位 fab 文 件 的 位 置 : 











which fab 
命令 结果 如 下 所 示 : 
/usr/bin/fab 





4.2.2 ”Fabric 的 命令 行 入 口 fab 命 令 详细 介绍 














fab 作 为 fabirc 的 命令 行 入 口 ， 提 供 了 丰富 的 参数 调用 ， 命 令 格式 如 下 : 























fab [options] -- [shell command] 





“1: 显示 定义 好 的 任务 函数 名 。 
“ -f: 指定 ftb 入 口 文件 ， 黑 认 入 口 文件 名 为 fabfile.py， 如 果 当 前 目录 不 存在 fabfle.py， 必 须 使 用 -f 参 数 指定 一 个 新 的 文件 ， 否 则 报错 。 
“ -g: 指定 网 关 设备 ， 比 如 跳板 机 环境 ， 填 写 跳 板 机 IP 即 可 。 


“ -H: 指定 目标 主机 ， 多 台 主 机 用 “，” 号 分 隔 。 

. -P: 以 异步 并 行 方式 运行 多 个 主机 任务 ， 默 认为 串 行 运行 。 
“ -R: 指定 role (角色 ) ， 以 角色 名 区 分 不 同业 务 组 设备 。 
“-t; 设置 设备 连接 超时 时 间 。 


“ -T: 设置 远程 主机 命令 执行 超时 时 间 。 


“ -Ww: 命令 执行 失败 时 发 出 警告 ， 而 非 默 认 终 止 任务 。 


fab 的 简单 用 法 举例 











这 里 还 是 跟 之 前 的 pssh 一 样 ， 提 前 做 好 跳板 机 的 root 用 户 的 免 密码 SSH-key 登 录 。 








如 果 要 通过 Fabric 得 知 远 程 机 器 10.0.0.17 的 hostname 名 ， 命 令 如 下 : 





fab -HB 10.0.0.17 -- 'hostname' 





成 功 执行 完 fab 命 令 以 后 ， 应 该 可 以 看 到 以 下 结果 : 





[10.0.0.17] Executing task !<remainder>'" 

[0 

[10.0.0.17] out: Filesystem Size Used Avail Uses Mounted on 

[10.0.0.17] out: /dev/mapper/VolGroup-lv root 

[10.0.0.17] out: 8.1G 1.2G 6.5G 16% / 

[10.0.0.17] out: tmpfs 245M 0 245M 0% /dev/shm 

[10.0.0.17] out: /dev/sdal 477M 57M 396M 13% /boot 

[10.0.0.17] euts 

Done. 

Disconnecting from 10.0.0.17http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... done. 





4.2.3 ”Fabric 的 环境 变量 设置 

Fabric 的 环境 变量 有 很 多 ， 存 放 在 字典 fabric.state.env 中 ， 而 它 包 含 在 fabric.api 中 。 为 了 方便 ， 我 们 一 般 使 用 env 来 指 代 环境 变量 。env 环 境 变 量 可 以 控制 很 多 Fabric 的 行为 ， 一 般 可 以 通过 env.xxx 进 
行 设置 。 

另外 ，env.xxx 这 样 的 配置 是 全 局 变量 ， 应 放 在 函数 体外 ， 如 果 放 在 函数 体内 ， 执 行 时 会 报错 。 


Fabric 默 认 使 用 本 地 用 户 通过 ssh 进 行 连接 远程 机 器 ， 不 过 可 以 通过 env.user 变 量 进 行 覆盖 。 当 进行 sh 连接 时 ，fabric 会 要 求 输入 远程 机 器 密码 ， 如 果 设 置 了 env.password 变 量 ， 则 不 需要 交互 的 输入 


密码 。 








下 面 介绍 一 些 常用 的 环境 变量 : 





“ abort_on_prompts: 设置 是 否 运行 在 交互 模式 下 ， 例 如 会 提示 输入 密码 等 ， 默 认为 false。 





“ connection_attempts: fabric 党 试 连接 到 新 服务 器 的 次 数 ， 上 默认 1 次 。 

“cwd: 目前 的 工作 目录 ， 一 般 用 于 确定 cd 命令 的 上 下 文 环境 。 

“ disable_known_hosts: 默认 为 flse， 如 果 是 true， 则 会 跳 过 用 户 知道 的 hosts 文 件 (下面 有 详细 说 明 ) 。 
“ exclude_hosts: 指定 一 个 主机 列表 ， 在 fab 执 行 时 忽略 列表 中 的 机 器 。 

“ fabfile: 在 fab 命 令 执行 时 ， 会 自动 搜索 这 个 文件 执行 。 默 认 值 为 fabflle.py。 

: host_stting: 当 fabtic 连 接 远程 机 器 执行 run、put 时 ， 设 置 的 user/host/port 等 。 

“ hosts: 一 个 全 局 的 host 列 表 。 

“ keepalive: 设置 ssh 的 keepalive。 默 认为 0。 

“ loacl_user: 一 个 只 读 的 变量 ， 包 含 了 本 地 的 系统 用 户 ， 同 uset 变 量 一 样 ， 但 是 user 可 以 修改 。 
: parallel: 即 串 行 ， 默 认为 印 se， 如 果 是 true 会 并 行 执行 所 有 的 task。 

“ pool size: 在 使 用 parallel 执 行 任务 时 设置 的 进程 数 。 默 认为 0。 

“ password: ssh 远 程 连接 时 使 用 的 密码 ， 也 可 以 是 在 使 用 sudo 时 使 用 的 密码 。 


“ passwords: 一 个 字典 ， 可 以 为 每 一 台 机 器 设置 一 个 密码 ，key 是 ip，value 是 密码 。 





“ path: 在 使 用 run/sudo/local 执 行 命令 时 设置 的 3?PATH 环 境 变量 。 





“ port; 设置 主机 的 端口 。 

“ roledefs: 一 个 字典 ， 设 置 主机 名 到 规则 组 的 映射 。 

“ toles: 一 个 全 局 的 role 列 表 。 

“ shell: 在 执行 un 命令 时 默认 的 shell 环 境 。 默 认为 /bin/bash-1-c。 

“skip_bad_hosts: 默认 为 false， 如 果 为 ture， 则 会 导致 fab 跳 过 无 法 连接 的 主机 。 

“ sudo_prefix: 执行 sudo 命 令 时 调用 的 sudo 环 境 。 默 认 值 为 "sudo-S-p'% (sudo_prompt) s"Wenvo 
“sudo_prompt: 默认 值 为 "sudo password:"。 

“ timeout; 默认 10 网 络 连接 的 超时 时 间 。 


“ user: ssh 使 用 哪个 用 户 登 录 远程 主机 。 





已 知 主机 但 更 换 了 密 钥 : 


SSH 密 钥 指 纹 认证 机 制 的 目的 在 于 检测 中 间 人 攻击 : 如 果 攻 击 者 将 你 的 SSH 流 量 转向 他 控制 的 计算 机 ， 并 将 其 伪装 为 你 的 目的 主机 ， 将 会 检测 到 主机 密 钥 不 匹配 。 因 此 SSH (及 其 Python 实现 ) 发 现 主 
机 密 钥 与 Known_hosts 文 件 中 纪录 不 一 致 时 ， 都 默认 立即 拒绝 连接 。 


在 菜 些 情况 下 ， 比 如 部 署 EC2 时 ， 你 可 能 会 打算 忽略 该 问题 ， 我 们 目前 所 采用 的 SSH 层 并 没有 提供 对 该 操作 的 明确 控制 ， 但 是 可 以 通过 跳 过 known_hosts 文 件 的 加 载 过 程 





如 果 known_hosts 文 件 为 空 ， 
则 不 会 出 现 纪录 不 一 致 的 问题 。 如 果 你 需要 这 样 做 ， 可 以 设置 env.disable_known_hosts 为 True， 其 默认 值 为 False， 遵 从 SSH 的 默认 设置 。 


个 时 用 envdisable known_hosts 会 使 你 暴露 在 中 间 人 攻击 中 ， 请 小 心 使 用 。 


4.2.4 _ Fabric 的 核心 API 


Fabric 的 核心 API 主 要 有 七 类 : 带 颜色 的 输出 类 (color output) 、 上 下 文 管理 类 (context managers) 、 装 饰 器 类 (decorators) 、 网 络 类 (network) 、 操 作 类 (oprations) 、 任 务 类 
(tasks) 、 工 具 类 (utils) 。 



































Fabric 提 供 了 一 组 简单 但 功能 强大 的 fabric.api 命 令 集 ， 简 单调 用 这 些 API 就 能 完成 大 部 分 应 用 场景 需求 ，Fabric 支 持 的 常用 方法 及 说 明 如 下 : 














“ local: 执行 本 地 命令 ， 如 local: ("uname-s') 。 

“lcd: 切换 本 地 目录 ， 如 lcd: ('/home') 。 

“cd: 切换 远程 目录 ， 如 cd: ('/data/logs/') 。 

“ tun; 执行 远程 命令 ， 如 : run ('free-m') 。 

“ sudo: sudo 方 式 执行 远程 命令 ， 如 : sudo ("/etc/init.d/httpd start) 。 

. put: 上 传 本 地 文件 到 远程 主机 ， 如 : put (Vhomeyuserinfo'，Vdata/userinfo) 。 


“ get: 从 远程 主机 下 载 文件 到 本 地 ， 如 : get ('/home/user.info','/data/user.info') 。 


“ prompt: 获得 用 户 输入 信息 ， 如 : prompt (Please input user password: ') 。 
' confirm: 获得 提示 信息 确认 ， 如 : confirm ('Test failed，Continue[lY/N]') 。 
“ teboot: 重启 远程 主机 ， 如 reboot () 。 


“ @task: 函数 修饰 符 ， 新 版 本 fabric 任 务 对 面向 对 象 特性 和 命名 空间 有 很 好 的 支持 。 尤 其 是 面向 对 象 的 继承 和 多 态 特性 ， 对 代码 的 复 用 极其 重要 。 新 版 本 fabric 定 义 常 规模 块 级 别 的 函数 并 带 有 装饰 器 
Qtask， 这 会 直接 将 该 函数 转化 为 Task 子 类 ， 该 函数 名 会 被 作为 任务 名 ， 后 面 会 举例 说 明 (@task 的 用 法 。 


“ @runs_once: 函数 修饰 符 ， 标 识 符 的 函数 只 执行 一 次 ， 不 受 多 台 主 机 影响 。 


下 面 来 看 看 @task 的 用 法 ， 它 可 以 为 任务 添加 别名 ， 命 令 如 下 : 








from fabric.api import task 

@task (alias='dwm') 

def deploy with migrations(): 
pass 











使 用 fab 命 令 打印 指定 文件 中 存在 的 命令 ， 如 下 : 











如 下 : 
fab -f /home/yhc/test.py --list 





命令 结果 如 下 所 示 : 





Available commands: 
deploy with migrations 
Gwm 





还 可 以 通过 @task 设 置 默认 的 任务 ， 比 如 deploy (部 署 ) 一 个 子 模块 : 





from fabric.api import task 
Qtask 
def migrate(): 
pass 
Qtask 
def push () 
Pass 
Qtask 
def provision(): 
pass 


@task (default=True) 
def full deploy() : 
provision() 
push () 
migrate () 











使 用 fab 命 令 打印 指定 文件 中 存在 的 命令 ， 如 下 : 











如 下 : 
fab -f /home/yhc/test.py --list 





结果 如 下 所 示 : 





Available commands: 
deploy 
deploy.full deploy 
deploy.migrate 
Geploy.provision 
deploy.push 





也 可 以 通过 @task 以 类 的 形式 定义 任务 ， 如 : 





from fabric.api import task 
from fabric.tasks import Task 
class MyTask (Task): 
name = "deploy" 
def runl(self, environment, domain="whatever.com"): 
run("git clone foo") 
sudo ("service apache2 restart") 
instance = MyTask () 





上 面 的 代码 跟 下 面 的 代码 效果 是 一 样 的 : 





from fabric.api import task 

from fabric.tasks import Task 

Qtask 

def deploy (environment, domain="whatever.com"): 
run ("git clone foo") 
sudo ("service apache2 restart") 





大 家 可 以 对 比 看 看 ， 是 不 是 采用 @task 函 数 修饰 器 的 方式 更 为 简洁 和 直观 呢 ? 








关于 @task 修 饰 器 的 用 法 和 其 他 fabric.api 命 令 ， 请 参考 Fabric 官 方 文档 : http://fabric-chs.readthedocs.org/zh_CN/chs/tutorial.html。 





接 下 来 举例 说 明 @runs_once 的 用 法 ， 源 码 文件 /home/yhc/test.py 如 下 所 示 : 





#!/usr/bin/python 

# -*~ coding; utf-8 ~*-— 
from fabric.api import * 
from fabric.colors import * 


# 如 果 没 有 配置 SSH-key 免 密 登 陆 ， 此 时 需要 设置 root 账 号 和 密码 

#env.user = "root" # 定 义 用 户 名 ，env 对 象 的 作用 是 定义 fabric 指 定 文件 的 全 局 设 定 
#env.password = "redhat" # 定 义 密码 

env.hosts = ['192.168.1.204','192.168.1.205'] 

# 定 义 目标 主机 





Q@runs once 
# 当 有 多 台 主 机 时 只 执行 一 次 
def local task() : # 本 地 任务 函数 
local ("hostname") 
print 从 全 全 交 嫩 病 world") 
类] 印 红 色 字 体 的 结 
def remote task() : 入- 程 务 卫 雪 
with cd("/usr/local/src") 
人 -]lF | grep A) 
#with 是 python 中 更 优雅 的 语法 ， 可 以 很 好 地 处 理 上 下 文 环境 产生 的 异常 ,这 里 用 了 with 以 后 相当 于 实现 "cd /var/www/html && 1s -lsart" 的 效果 。 














通过 fab 命 令 调用 local_task 本 地 任务 函数 ， 命 令 如 下 : 














如 下 : 
fab -f test.py local task 





结果 如 下 : 





[10.0.0.16] Executing task 'local task' 
[localhost] local: hostname 
server 

hello,world 


Done. 





虽然 命令 显示 的 不 是 本 机 的 IP 地 址 ， 但 实际 上 并 没有 在 主机 10.0.0.16 上 面 ,而 是 在 本 地 主机 server (IP 为 10.0.0.15) 的 机 器 上 执行 了 命令 ， 并 以 红色 颜色 字体 显示 了 “hello,，world” 和 “server”。 


四 











调用 remote task 远 程 函数 显示 结果 ， 分 别 在 10.0.0.161 和 10.0.0.17 的 机 器 上 打印 /usVlocal/src/ 下 面 存 在 的 目录 ， 结 果 如 下 : 











[10.0.0.16] Executing task 'remote task' 

[10.0.0.16] run: ls -1lF | grep /$ 

[10.0.0.16] out: drwxr-xr-x 9 501 games 4096 Apr 2 05:22 Fabric-1.13.1/ 

[10.0.0.16] euts 

[10.0.0.17] Executing task 'remote task' 

[10.0.0.17] run: ls -1lF | grep /$ 

[10.0.0.17] out: drwxr-xr-x 2 root root 4096 Apr 2 08:27 test1/ 

[10.0.0.17] out: drwxr-xr-x 2 root root 4096 Apr 2 08:27 test2/ 

[10.0.0.17] out: 

Done. 

Disconnecting from 10.0.0.16http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... done. 
Disconnecting from 10.0.0.17http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... done. 





4.2.5 ”Fabric 的 执行 逻辑 


Fabric 的 执行 逻辑 顺序 是 怎样 的 呢 ? 








由 于 Fabric 并 不 是 完全 线程 安全 (以 及 为 了 更 加 通用 ， 任 务 函 数 之 间 并 不 会 产生 交互 ) ， 该 功能 的 实现 基于 Python multiprocessing 模 块 ， 它 会 为 每 一 个 主机 和 任务 组 合 创建 一 个 线程 ， 同 时 提供 一 个 
(可 选 的 ) 弹 窗 用 于 阻止 创建 过 多 的 进程 
























































举 个 例子 ， 假 设 你 正 打算 更 新 数 台 服务 器 上 的 Web 应 用 代码 ， 所 有 服务 的 代码 都 更 新 后 开始 重启 服务 器 (这 样 代码 更 新 失败 的 时 候 比较 容易 回 滚 ) 。 你 可 能 会 写 出 下 面 这 样 的 代码 : 











from fabric.api import * 
def update () : 
with cqd( I A hd ) : 
run("git pull") 


def reload(): 

sudo ("service apache2 reload") 
# 在 三 台 服 务 器 上 并 行 执行 ， 就 像 这 样 : 
fab -H webl,web2,web3 update reload 


见 的 情况 是 没有 启动 任何 并 行 执行 参数 ，Fabric 将 按 顺序 在 服务 器 上 执行 


i 


在 web1 上 更 新 。 


2) 在 web2 上 更 新 。 


Wo 


在 web3 上 更 新 。 


4) 在 web1 上 重新 加 载 配置 。 





w 


在 web2 上 重新 加 载 配置 。 





6) 在 web3 上 重新 加 载 配置 。 





如 果 激 活 并 行 执行 (通过 -P 实 现 ， 下 面 会 详细 介绍 ) ， 它 将 变 成 这 样 : 











1) 在 web1、web2 和 web3 上 更 新 。 


2) 在 web1、web2 和 web3 上 重新 加 载 配置 。 





这 样 做 的 好 处 非常 明显 一 一 如 果 update 花 费 5 秒 ，reload 人 花费 2 秒 ， 顺 序 执行 总 共 会 花费 (5+2) x3=21 秒 ， 而 并 行 执行 只 需要 它 的 1/3， 也 就 是 (5+2) =7 秒 。 


Fabirc 如 何 使 用 装饰 器 来 改变 执行 顺序 呢 ? 























由 于 并 行 执行 影响 的 最 小 单位 是 任务 ， 所 以 功能 的 启用 或 禁用 也 是 以 任务 为 单位 使 用 parallel (并 行 ) 或 serial ( 串 行 ) 装饰 器 。 以 下 面 这 个 fabfile 为 例 : 




















from fabric.api import * 

Q@parallel 

def runs in parallel (): 
pass 

def runs serially(): 
Pass 





如 果 这 样 执行 : 





fab -H hostl,host2,host3 runs_ in _ Parallel runs serially 





将 会 按照 下 述 流程 执行 : 

1) runs_in_parallel 运 行 在 host1、host2 和 host3 上 。 
2) runs_serially 运 行 在 host1 上 。 

3) runs_serially 运 行 在 host2 上 。 


4) runs_serially 运 行 在 host3 上 。 














大 家 也 可 以 使 用 命令 行 选项 -P 或 者 环境 变量 env.parallel<env-parallel> 强 制 所 有 任务 并 行 执行 。 不 过 被 装饰 器 fabric.decorators.serial 封 装 的 任务 会 忽略 该 设置 ， 仍 旧 保持 顺序 执行 。 








例如 ， 下 面 的 fabfile 会 产生 和 上 面 同样 的 执行 顺序 : 





from fabric.api import * 
def runs in parallel (): 














pass 
Qserial 
def runs serially(): 
pass 
在 这 样 调 用 时 : 














fab -H hostl,host2,host3 -P runs in parallel runs serially 





和 上 面 一 样 ，runs_in_parallel 将 会 并 行 执行 ，runs_serially 顺 序 执行 。 


4.2.6 ”如 何 利用 进程 池 大 小 来 限制 Fabric 并 发 进程 数 








主机 列表 很 大 时 ， 的 机 器 可 能 会 因为 并 发 运行 了 太 多 的 Fabric 进 程 而 被 压 垮 ， 因 此 ， 读 者 可 能 会 选择 进程 池 方 法 来 限制 Fabric 并 发 执行 的 活跃 进程 数 。 










































































通用 的 方法 一 般 是 将 这 些 值 配 置 为 CPU 的 逻辑 个 数 。 默 认 情况 下 没有 使 用 bubble 限 制 ， 所 有 主机 都 运行 在 并 发 池 中 。 你 可 以 在 任务 级 别 指定 parallel 的 关键 字 参 数 pool size 来 覆盖 该 设置 ， 或 者 使 用 选 
项 -z 进 行 全 局 设置 。 





例如 同时 在 5 个 主机 上 运行 : 





from fabric.api import * 


Qparallel (pool size=5) 
def heavy task(): 
# lots of heavy local lifting or lots of IO here 











或 者 不 使 用 关键 字 参 数 pool size: 











fab -P -z 5 heavy task 





参考 文档 : http://fabric-chs.readthedocs.io/zh_CN/chs/usage/parallel.html。 


4.3 ”Fabric 在 工作 中 应 用 实例 




















本 节 我 们 将 从 开发 环境 和 工作 场景 两 个 角度 来 介绍 Fabric 应 用 实例 。 大 家 需要 注意 的 是 ， 一 般 内 网 开发 环境 是 没有 配置 内 网 DNS 的 ， 我 们 直接 修改 /etc/hosts 文 件 即 可 ， 线 上 环境 我 们 可 以 利用 DNS 服 
务 器 来 正确 识别 主机 。 





4.3.1 开发 环境 中 Fabric 应 用 实例 











笔者 所 在 公司 的 开发 环境 都 是 Xen 和 KVM 虚 拟 机 器 ， 但 数据 也 不 少 ， 因 为 是 内 网 环境 ， 所 以 一 般 直 接 用 root 和 SSH 密 码 连 接 ， 系 统 是 CentOS 6.8 x86 64，Python 版 本 2.6.6。 














实例 1， 同 步 Fabric 跳 板 机 机 器 的 /etc/hosts 文 件 ， 脚 本 如 下 : 





#!/usr/bin/python 

# = ooding: utf-8 ~*= 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 

#fabric.context_managers 是 fabric 的 上 下 文 管理 类 ， 这 里 需要 import 是 因为 下 面 会 用 到 with 


env.user = 'root' 

env.hosts = ['192.168.1.200','192.168.1.205','192.168.1.206'] 
env.password = 'bilin101"' 

Q@task 


# 限 定 只 有 Put_hosts_file 函 数 对 fab 命 令 可 见 。 
def put hosts files () : 
print yellow("rsync /etc/host File") 
with settings (warn_only=True) : # 出 现 异 常 时 继续 执行 ， 非 终止 。 
put("/etc/hosts","/etc/hosts") 
人 file success!" 


print ") 
'"''! 这 里 用 到 with 是 确保 即便 发 生 异 常 ， 也 将 尽早 执行 清理 下 面 的 操作 ， 一 般 来 说 ，Python 中 的 with 语 句 一 般 多 用 于 执行 清理 操作 (如 关闭 文件 ) ， 因 为 python 中 打开 文件 以 后 的 时 间 是 不 确定 的 ， 如 果 有 其 他 程序 试图 访问 打开 








for host in env.hosts: 
env.host_string = host 
put hosts files() 


1 




















实例 2， 同 步 公司 内 部 开发 服务 器 的 git 代 码 ， 现 在 的 互联 网 公司 的 DevOps 开 发 团队 应 该 都 比较 倾向 了 








及 


























git 作 为 开发 版 本 管理 工具 ， 稍 微 改动 此 脚本 应 该 也 可 以 用 于 线 上 的 机 器 ， 脚 本 如 下 所 示 : 











#!/usr/bin/python 

着 一 oding: FE-8 一 * 一 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 


env.user = 'root' 

env.hosts = ['192.168.1.200','192.168.1.205','192.168.1.206'] 
env.password = 'redhat' 

@task 


# 同 上 面 一 样 ， 指 定 git_update 函 数 只 对 fab 命 令 可 见 。 
def git update(): 
with settings (warn only=True): 
with cd('/home/project/github'): 
sudo('git stash clear') 
# 清 理 当前 git 中 所 有 的 储藏 ， 以 便于 我 们 stashing 最 新 的 工作 代码 
sudo('git stash') 


"如果 我 们 想 切换 分 支 ， 但 是 不 想 提交 你 正在 进行 中 的 工作 ,所 以 得 储藏 这 些 变 更 。 为 了 往 git 堆 栈 推送 一 个 新 的 储藏 ， 只 需要 运行 git stash 命 令 即 可 。 


sudo('git pull') 
sudo('git stash apply') 
# 完 成 当前 代码 pull 以 后 ， 取 回 最 新 的 stashing 工 作 代 码 ， 这 里 我 们 用 命令 git stash apply。 


sudo ('nginx -s reload') 


1 

for host in env.hosts: 
env.host string = host 
git update() 


rr 





人 @@ 尘 这 电 还 是 建议 以 Gb 的 方式 来 执行 我 们 自 定义 文 件 的 各 种 自 定义 任务 函数 ， 感 党 操作 起 来 更 为 灵活 方便 。 


例如 : fab - fyhome/yhc/mywotrk.Py git_update。 


4.3.2 工作 场景 中 常见 的 Fabric 应 用 实例 


1. 工 作 场 景 一 





[ 





笔者 公司 的 海外 业务 机 器 都 是 AWS EC2 主 机 ， 机 器 数量 较 多 ， 每 个 数据 中 心 都 部 署 了 Fabric 跳 板 机 (物理 拓扑 图 可 参考 图 4.1) ， 系 统 为 Amazon Linux， 内 核 版 本 为 3.14.34- 


27.48.amzn1.x86_ 64，Python 版 本 为 Python 2.6.9。 














公司 项 目 组 核心 开发 人 员 离 职 的 话 ， 线 上 机 器 都 会 更 改 密 铀 ， 由 于 密 钥 一 般 以 组 的 形式 存在 ， 再 加 上 机 器 数量 繁多 ， 因 此 单纯 通过 人 手工 操作 ， 基 本 是 一 项 不 可 能 完成 的 工作 ， 但 如 果 通 过 Fabric 自 动 




















化 运 维 工具 ， 这 就 是 一 项 简单 的 工作 了 ， 由 于 现在 的 线 上 服务 器 大 多 采用 SSH Key 的 方式 进行 管理 ， 所 以 SSH Key 分 发 对 于 大 多 数 系统 运 维 人 员 来 说 也 是 工作 之 一 ， 故 而 建议 大 家 掌握 此 脚本 的 用 法 。 示 例 











脚本 内 容 如 下 : 








#!/usr/bin/python2.6 

odings wtf :一 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 


# 这 里 为 了 简化 工作 ， 脚 下 采用 纯 python 的 写法 ， 没 有 采用 Fabric 的 Qtask 修 饰 器 ， 脚 本 不 需要 利用 fab 执 行 ， 直 接 以 Python 的 形式 执行 即 可 。 


env.user = "ec2-user' 
env.key filename = '/home/ec2-user/.ssh/id rsa' 


hosts=['budget', 'adserver', 'bidderl', 'bidder2' 'bidder3', 'bidder4', 'bidder5', 'bidder6', 'bidder7','bidder8','bidder9',redisl','redis2','redis3','redis4','redis5','redis6']... 


# 机 器 数量 多 ， 这 里 只 是 罗列 部 分 主机 





def put ec2 key() : 
with settings (warn only=False): 
Put ("/home/ec2-user/admin-master .pub","/home/ec2-user/admin-master .pub") 
sudo("\cp /home/ec2-user/admin-master.pub /home/ec2-user/.ssh/authorized keys") 
sudo ("chmod 600 /home/ec2-user/.ssh/authorized keys") 


def put admin key() : 
with settings (warn only=False): 
put ("/home/ec2-user/admin-operation.pub", 
"/home/ec2-user/admin-operation.pub") 
sudo("\cp /home/ec2-user/admin-operation.pub /home/admin/.ssh/autho rized keys") 
sudo ("chown admin:admin /home/admin/.ssh/authorized keys") 
sudo ("chmod 600 /home/admin/.ssh/authorized keys") 


def put readonly key() : 
”with settings (warn only=False): 
Put ("/home/ec2-user/admin-readonly.pub", 
"/home/ec2-user/admin-readonly .pub") 


sudo("\cp /home/ec2-user/admin-readonly.pub /home/readonly/.ssh/author ized keys") 


sudo ("chown readonly:readonly /home/readonly/.ssh/authorized keys") 
sudo ("chmod 600 /home/readonly/.ssh/authorized keys") 


for host in hosts: 
env.host string = host 
put ec2 key() 
put admin key () 
put_readonly_ key () 


2. 工 作 场 景 二 











如 果 线 上 的 Nagios 客 户 端的 监控 脚本 因为 业务 需求 又 发 生 了 改动 ， 而 业务 集群 约 有 23 台 (下 面 只 列 出 了 




















中 10 台 ) ， 且 其 中 的 一 个 业务 需求 脚本 前 前 后 后 改动 了 4 次 ， 这 时 ， 如 果 手 动 操作 肯定 会 过 于 





繁琐 ， 此 时 可 以 用 Fabric 推 送 此 脚本 并 执行 。 系 统 为 Amazon Linux， 内 核 版 本 为 3.14.34-27.48.amzn1.x86 64，Python 版 本 为 Python 2.6.9。 








代码 如 下 : 


#!/usr/bin/python2.6 

#4 ~*~ coding: utf-8 ~—*~ 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 


# 这 里 为 了 简化 工作 ， 脚 本 采用 纯 python 的 写法 ， 没 有 采用 Fabric 的 @task 修 饰 器 ， 脚 本 不 需要 利用 fab 执 行 ， 直 接 以 python 的 形式 执行 即 可 。 


User = "ec2-user' 


hosts=['bidderl', 'bidder2', 'bidder3', 'bigdder4', 'bidder5', 'bidder6', 'bidder7', 'bidder8', 'bidder9', 'bidder10'] 


# 机 器 数量 比较 多 ， 这 里 只 列 出 其 中 10 台 


Qtask 


# 这 里 用 到 了 @task 修 饰 器 
def put task(): 
Print yellow("Put Local File to Nagios Client") 
with settings (warn only=True): 
put ("/home/ec2-user/check cpu utili.sh", 
"/home/ec2- user/check -Cpu utili.sh") 
sudo ("cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/libexec") 
sudo(" 让 nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh") 
sudo ("chmod +x /usr/local/nagios/libexec/check cpu utili") 
sudo("kill ‘ps aux | grep nrpe | head -nl | awk '{print $2}' *") 
sudo("/usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d") 
print green ("upload File success and restart nagios service!") 


# 这 里 以 绿色 字体 打印 结果 是 为 了 方便 查看 脚本 执行 结果 


for host in hosts: 
enV.host_string = host 
Put_task() 

















执行 上 面 的 脚本 以 后 ，Fabric 也 会 返回 清晰 的 显示 结果 ， 大 家 可 以 根据 显示 结果 判断 哪些 机 器 已 经 成 功 运行 ， 哪 些 机 器 失败 ， 非 常 直观 ， 如 下 所 示 : 








Put Local File to remote 

bidder1] put: /home/ec2-user/check cpu utili.sh -> /home/ec2-user/check cpu utili.sh 

bidder1l] sudo: cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/libexec/check cpu utili.sh 
bidder1] sudo: chown nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh eo 
biqder1] sudo: chmod +x /usr/local/nagios/libexec/check cpu utili.sh 

bidder1] sudo: kill ‘ps aux | grep nrpe | head -nl | awk '{print $2}' 

bidqer1] sudo: /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d 

upload File success and restart nagios service! 

Put Local File to remote2 

bidder2] put: /home/ec2-user/check cpu utili.sh -> /home/ec2-user/check cpu utili.sh 

bidder2] sudo: cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/Tibexec/check cpu utili.sh 
bidder2] sudo: chown nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh 

bidder2] sudo: chmod +x /usr/local/nagios/libexec/check cpu utili.sh 

bidder2] sudo: kill ‘ps aux | grep nrpe | head -nl | awk '{Print $2]}" 

bidder2] sudo: /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d 

upload File success and restart nagios service! 

Put Local File to remote 

bidder3] put: /home/ec2-user/check cpu utili.sh -> /home/ec2-user/check cpu utili.sh 

bidder3] sudo: cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/Tibexec/check cpu utili.sh 
bidder3] sudo: chown nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh 

bidder3] sudo: chmod +x /usr/local/nagios/libexec/check cpu utili.sh 

bidder3] sudo: kill ‘ps aux | grep nrpe | head -nl | awk '{print $2}' 

bidder3] sudo: /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d 

upload File success and restart nagios service! 

Put Local File to remote 

bigdder4] put: /home/ec2-user/check cpu utili.sh -> /home/ec2-user/check cpu utili.sh 

bidder4] sudo: cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/Tibexec/check cpu utili.sh 
bidder4] sudo: chown nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh 

bidder4] sudo: chmod +x /usr/local/nagios/libexec/check cpu utili.sh 

bidder4] sudo: kill ‘ps aux | grep nrpe | head -nl | awk '{print $2}' 

bidder4] sudo: /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d 

upload File success and restart nagios service! 

Put Local File to remote 

bidder5] put: /home/ec2-user/check cpu utili.sh -> /home/ec2-user/check cpu utili.sh 

bidder5] sudo: cp /home/ec2-user/check cpu utili.sh /usr/local/nagios/libexec/check cpu utili.sh 
bidder5] sudo: chown nagios:nagios /usr/local/nagios/libexec/check cpu utili.sh Ce 
biqder5] sudo: chmod +x /usr/local/nagios/libexec/check cpu utili.sh 

bidder5] sudo: kill ‘ps aux | grep nrpe | head -nl | awk '{print $2}' 

bidder5] sudo: /usr/local/nagios/bin/nrpe -c /usr/local/nagios/etc/nrpe.cfg -d 

upload File success and restart nagios service! 




















笔者 工作 的 CDN 业 务 平台 ， 按 照 产 品 线 分 成 N 多 的 业务 平台 ， 以 c01.i01、c01.i02 等 形式 来 区 分 平台 角色 ， 工 作 中 经 常 有 针对 不 同 平台 执行 不 同 操作 的 需求 ， 这 个 时 候 我 们 可 以 利用 Fabric 的 roles 修 饰 
器 功能 。 系 统 为 CentOS 6.8 x86_64，Python 版 本 为 2.7.9。 脚 本 内 容 如 下 所 示 : 











#!/usr/bin/env python 

#coding:utf-8 

import re 

import logging 

from fabric.api import * 

from fabric.colors import * 
env.timeout=20 

env.port = '12321' 
env.key_filename="/root/.ssh/id dsa" 
env.disable known hosts=True 


# 操 作 此 项 时 注意 安全 间 题 ， 谨 慎 操 作 。 


def Local task (platform): 
with settings (hide('running', 'stdout'), warn only=True): 
cmd output = local ("/work/uli 1 hosts %s >%s"% (platform,platform)) 
#get platform 1 hosts 是 我 们 自行 F 以 从 公司 的 GMDB 系 统 动态 获取 平台 对 应 主机 的 IP 地 址 。 
if cmd output.return codt 
1=[] 
with open (Platform) as f: 
for line in f: 
1.append (line.strip()) 
return 1 
#@parallel (pool_ size=5) 
def e ) task (): 
logging.basicConfig (level=logging .ERROR) 
# 如 果 我 们 把 level 设 成 logging .ERROR， 所 有 debug () |info () |warning () 的 讯息 将 被 忽略 。 
platform list={} 
for p in ("ed0l.i0l", ™o0l: 02" "e0103", "e004"; "oe0l .105", "oD2. 01" "e02102")™ od, B03" GO2 104m "od 103"] 
ret=execute (Local task,p) 
#print ret 2 
Platform list[p]=ret['<local-only>'] 
# print platfrom list 
env.roledefs =platform list 














do task() 
# 注 意 ，env .roledefs 为 全 局 变量 ， 如 果 放 在 do_task1 函 数 里 面 执行 ， 则 会 导致 roles 报 错 ， 现 象 为 提示 c01 .i77 等 角色 不 存在 。 


# 这 里 我 们 可 以 根据 角色 名 来 分 配 不 同 的 函数 ， 执 行 相应 的 任务 ，Fabric 的 灵活 性 在 这 里 体现 得 淋漓 尽 致 。 
droles("0l io "a0l .02" "G0L .103") 
def do task]l (): 
# execute (do task) 
run('hostname') 


@roles ("c02.i02","c02.i04") 
def do task2(): 
run('df -h') 





大 家 可 以 看 到 ， 0 而 且 相 关 的 代码 都 是 纯 Python 代 码 和 Shell 代 码 ，DevOps 运 维 开 发 人 员 和 应 用 运 维 人 员 很 容易 上 手 ， 在 公司 内 部 推广 应 用 ， 大 家 的 认可 程度 
也 高 。 事 实 上 ， 大 家 应 该 通过 上 面 的 举例 就 能 发 现 ，Fabric 特 别 适合 大 量 Shell 命 令 需要 执行 的 工作 场景 。 











4.4 人 小结 



























































Fabric 作 为 Python 开发 的 轻 量 级 运 维 工 具 ， 小 块头 却 有 大 智慧 ， 熟 练 掌握 其 用 法 能 够 解决 工作 中 很 多 自动 化 运 维 需求 ， 我 想 这 也 是 它 受 到 运 维 人 员 和 开发 人 员 青 睐 的 原因 。 大 家 可 以 通过 掌握 其 在 开发 
环境 和 线 上 环境 的 应 用 举例 ， 熟 练 掌握 其 用 法 ， 然 后 将 其 用 于 自己 的 系统 自动 化 运 维 环境 中 。 













































































第 5 章 Linux 集群 及 其 项 目 案例 分 享 


作为 一 名 高 级 系统 架构 设计 师 ， 在 工作 中 经 常会 涉及 一 些 对 外 项 目 ， 比 如 小 中 型 金融 资讯 网 站 和 电子 商务 订单 系统 的 架构 及 实施 。 在 实施 项 目 方案 时 ， 客 户 基本 上 都 会 提出 这 样 一 条 要 求 : 保证 服务 的 
高 可 用 。 基 于 此 要 求 ， 我 们 所 有 的 应 用 服务 器 ， 包 括 负载 均衡 器 、 文 件 服务 器 、RabbitMQ 集 群 服务 器 、Web 服 务 器 及 MySQL 数 据 库 ， 基 本 都 配备 了 两 台 或 两 台 以 上 服务 器 。 同 时 ， 根 据 客户 的 要 求 及 客户 
自身 机 房 的 硬件 配置 ， 我 们 会 选择 不 同 的 负载 均衡 器 方案 ， 比 如 硬件 有 F5 和 Citrix NetScaler， 软 件 方面 有 LVS、Nginx 及 HAProxy， 云 计算 服务 产品 有 Elastic Load Balancing。 可 以 说 在 相当 长 的 一 段 时 间 
内 ， 我 的 工作 之 一 就 是 不 停 地 测试 它们 ， 不 停 地 完善 和 优化 整体 网 站 的 架构 。 













































































在 与 一 些 系统 管理 员 进行 线 下 交流 活动 时 ， 我 发 现 不 少 技术 优秀 的 系统 管理 员 由 于 公司 自身 环境 等 原因 ， 对 Linux 集 群 、 负 载 均衡 高 可 用 等 相关 知识 了 解 甚 少 ， 如 果 是 从 事 上 T 其 他 专业 的 人 员 就 更 可 想 而 
知 了 。 在 这 里 ， 我 希望 通过 分 享 自己 的 Linux 集 群 项 目 经 验 ， 向 大 家 说 明 什么 叫 负载 均衡 ， 什 么 叫 高 可 用 ， 什 么 叫 Linux 集 群 。 同 时 ， 和 大 家 交流 一 下 与 之 相关 的 专业 知识 ， 让 大 家 走出 误区 ， 从 真正 意义 上 
来 理解 它们 。 









































5.1 ”负载 均衡 高 可 用 核心 概念 及 常用 软件 


5.1.1 什么 是 负载 均衡 高 可 用 














在 解释 这 个 专业 术语 之 前 ,我 们 需要 弄 明 白 一 个 问题 : 为 什么 需要 负载 均衡 (Load Balancer) ? 在 这 里 先 举 一 个 例子 ， 假 如 我 们 有 一 个 金融 资讯 类 的 网 站 ， 只 人 允许 100 个 用 户 同时 在 线 访问 。 网 站 上 线 
初期 ， 由 于 知名 度 较 小 ， 加 上 没有 宣传 ， 只 有 几 个 用 户 经 常 上 线 。 后 期 知名 度 上 升 ， 宣 传 力度 也 加 大 了 ， 且 百度 和 谷歌 收录 了 我 们 的 网 站 ， 这 时 ， 同 时 在 线 的 用 户 数量 直线 上 升 ， 甚 至 达到 上 干 人 。 于 是 ， 
网 站 变 得 异常 繁忙 ， 经 常会 反应 不 过 来 ， 这 个 时 候 用 户 体验 势必 下 降 ， 为 了 不 影响 客户 对 我 们 的 信心 ， 一 定 要 想 办 法 解决 这 个 问题 。 试 想 ， 如 果 有 几 台 或 几 十 台 相 同 配置 的 机 器 ， 前 端 放 一 个 转发 器 ， 轮 流 
转发 客户 对 网 站 的 请 求 ， 每 台 机 器 都 将 用 户 数控 制 在 100 之 内 ， 那 么 网 站 的 反应 速度 就 会 大 大 提升 ， 即 使 其 中 的 某 台 服务 器 因为 硬件 故障 宕 机 了 ， 也 不 会 影响 用 户 的 访问 。 其 中 ， 这 个 神奇 的 转发 器 就 是 负 
载 均衡 器 ， 英 文 名 为 Director。 那 么 什么 是 负载 均衡 呢 ? 负载 均衡 建立 在 现 有 的 网 络 结构 之 上 ， 它 提供 了 一 种 廉价 、 有 效 透 明 的 方法 来 扩展 网 络 设备 和 服务 器 的 带宽 ， 增 加 吞吐 量 ， 加 强 网 络 数据 处 理 能 
力 ， 提 高 网 络 的 灵活 性 和 可 用 性 。 通 过 负载 均衡 器 可 以 实现 N 台 廉价 的 PC 服务 器 并 行 处 理 ， 从 而 达到 小 型 机 或 大 型 机 的 计算 能 力 ， 这 也 是 目前 负载 均衡 如 此 流行 的 主要 原因 。 


































































































































































































高 可 用 (High Availability) 其 实 有 两 种 不 同 的 含义 : 在 广义 环境 中 指 整个 系统 的 高 可 用 (High Availability) 性 ; 在 狭义 方面 一 般 指 主机 的 宛 余 接 管 ， 如 主机 HA。 如 无 特殊 说 明 ， 本 书 中 的 HA 都 是 指 
广义 的 高 可 用 性 ， 即 保证 整个 系统 不 会 因为 某 一 台 主 机 崩溃 或 故障 损坏 而 发 生 停止 服务 的 现象 ， 而 狭义 的 就 是 我 们 前 面 提 到 的 主机 的 郊 余 接管 ， 我 们 可 以 从 最 前 端的 负载 均衡 器 谈 起 。 







































































单 台 负 载 均衡 器 位 于 网 站 的 最 前 端 ， 它 起 着 对 客户 请 求 分 流 的 作用 ， 相 当 于 整个 网 站 或 系统 的 入 口 ， 如 果 它 不 幸 Crash (崩溃 ) 了 ， 整 个 网 站 也 会 宕 机 ， 所 以 我 们 要 求 有 一 种 方案 能 在 短 时 间 (这 个 时 
间 一 般 要 求 小 于 1 秒 ) 内 将 崩溃 的 负载 均衡 器 接管 过 去 ， 这 称 之 为 高 可 用 。 由 于 这 个 时 间 非 常 得 ， 我 们 的 客户 完全 没有 察觉 到 我 们 其 中 的 一 台 机 器 已 经 发 生 了 崩溃 情况 。 至 于 负载 均衡 器 后 端的 Web 集 群 、 
数据 库 集群 ， 因 为 有 负载 均衡 器 的 内 部 机 制 ， 即 使 是 其 中 的 某 一 台 或 两 台 发 生 问题 ， 也 不 会 影响 整套 系统 的 使 用 ， 这 种 意义 上 的 高 可 用 就 是 广义 上 的 。 




























































































另外 ， 现 在 我 们 俗称 的 Linux 集 群 ， 它 指 的 是 大 范围 内 的 整套 系统 架构 ， 相 对 于 负载 均衡 器 后 端的 Web 集 群 (Cluster) 、Resin 集 群 (Cluster) 或 MYSQL 集群 (Cluster) 来 阅 ， 它 的 涵盖 面 要 广 得 多 ， 
包括 了 负载 均衡 高 可 用 。 这 里 为 了 便于 区 别 ， 笔 者 在 提 到 集群 (Cluster) 时 一 般 会 带 上 前 经 ， 比 方 说 Web 集 群 (Cluster) ， 那 么 此 时 所 指 的 是 后 端 提供 相同 服务 的 Web 机 器 群 ， 如 果 是 Linux 集 群 ， 那 么 指 
的 就 是 大 范围 的 系统 集群 架构 ， 希 望 大 家 不 要 混淆 。 

































































目前 ， 在 线 上 环境 中 应 用 较 多 的 负载 均衡 器 硬件 有 F5 BIG-IP 和 Citrix NetScaler， 软 件 有 LVS、Nginx 及 HAProxy， 高 可 用 软件 有 Heartbeat、Keepalived， 成 熟 的 Linux 集 群 架 构 有 DNS 轮 询 、 
LVS+Keepalived、Nginx/HAproxy+Keeaplived 及 DRBD+Heartbeat。 








5.1 ”负载 均衡 高 可 用 核心 概念 及 常用 软件 


5.1.1 什么 是 负载 均衡 高 可 用 














在 解释 这 个 专业 术语 之 前 ,我 们 需要 弄 明 白 一 个 问题 : 为 什么 需要 负载 均衡 (Load Balancer) ? 在 这 里 先 举 一 个 例子 ， 假 如 我 们 有 一 个 金融 资讯 类 的 网 站 ， 只 人 允许 100 个 用 户 同时 在 线 访问 。 网 站 上 线 
初期 ， 由 于 知名 度 较 小 ， 加 上 没有 宣传 ， 只 有 几 个 用 户 经 常 上 线 。 后 期 知名 度 上 升 ， 宣 传 力度 也 加 大 了 ， 且 百度 和 谷歌 收录 了 我 们 的 网 站 ， 这 时 ， 同 时 在 线 的 用 户 数量 直线 上 升 ， 甚 至 达到 上 干 人 。 于 是 ， 
网 站 变 得 异常 繁忙 ， 经 常会 反应 不 过 来 ， 这 个 时 候 用 户 体验 势必 下 降 ， 为 了 不 影响 客户 对 我 们 的 信心 ， 一 定 要 想 办 法 解决 这 个 问题 。 试 想 ， 如 果 有 几 台 或 几 十 台 相 同 配置 的 机 器 ， 前 端 放 一 个 转发 器 ， 轮 流 
转发 客户 对 网 站 的 请 求 ， 每 台 机 器 都 将 用 户 数控 制 在 100 之 内 ， 那 么 网 站 的 反应 速度 就 会 大 大 提升 ， 即 使 其 中 的 某 台 服务 器 因为 硬件 故障 宕 机 了 ， 也 不 会 影响 用 户 的 访问 。 其 中 ， 这 个 神奇 的 转发 器 就 是 负 
载 均衡 器 ， 英 文 名 为 Director。 那 么 什么 是 负载 均衡 呢 ? 负载 均衡 建立 在 现 有 的 网 络 结构 之 上 ， 它 提供 了 一 种 廉价 、 有 效 透 明 的 方法 来 扩展 网 络 设备 和 服务 器 的 带宽 ， 增 加 吞吐 量 ， 加 强 网 络 数据 处 理 能 
力 ， 提 高 网 络 的 灵活 性 和 可 用 性 。 通 过 负载 均衡 器 可 以 实现 N 台 廉价 的 PC 服务 器 并 行 处 理 ， 从 而 达到 小 型 机 或 大 型 机 的 计算 能 力 ， 这 也 是 目前 负载 均衡 如 此 流行 的 主要 原因 。 































































































































































































高 可 用 (High Availability) 其 实 有 两 种 不 同 的 含义 : 在 广义 环境 中 指 整个 系统 的 高 可 用 (High Availability) 性 ; 在 狭义 方面 一 般 指 主机 的 宛 余 接 管 ， 如 主机 HA。 如 无 特殊 说 明 ， 本 书 中 的 HA 都 是 指 
广义 的 高 可 用 性 ， 即 保证 整个 系统 不 会 因为 某 一 台 主 机 崩溃 或 故障 损坏 而 发 生 停止 服务 的 现象 ， 而 狭义 的 就 是 我 们 前 面 提 到 的 主机 的 郊 余 接管 ， 我 们 可 以 从 最 前 端的 负载 均衡 器 谈 起 。 













































































单 台 负 载 均衡 器 位 于 网 站 的 最 前 端 ， 它 起 着 对 客户 请 求 分 流 的 作用 ， 相 当 于 整个 网 站 或 系统 的 入 口 ， 如 果 它 不 幸 Crash (崩溃 ) 了 ， 整 个 网 站 也 会 宕 机 ， 所 以 我 们 要 求 有 一 种 方案 能 在 短 时 间 (这 个 时 
间 一 般 要求 小 于 1 秒 ) 内 将 崩溃 的 负载 均衡 器 接管 过 去 ， 这 称 之 为 高 可 用 。 由 于 这 个 时 间 非 常 得， 我 们 的 客户 完全 没有 察觉 到 我 们 其 中 的 一 台 机 器 已 经 发 生 了 崩溃 情况 。 至 于 负载 均衡 器 后 端的 Web 集 群 、 
数据 库 集群 ， 因 为 有 负载 均衡 器 的 内 部 机 制 ， 即 使 是 其 中 的 某 一 台 或 两 台 发 生 问题 ， 也 不 会 影响 整套 系统 的 使 用 ， 这 种 意义 上 的 高 可 用 就 是 广义 上 的 。 




























































































另外 ， 现 在 我 们 俗称 的 Linux 集 群 ， 它 指 的 是 大 范围 内 的 整套 系统 架构 ， 相 对 于 负载 均衡 器 后 端的 Web 集 群 (Cluster) 、Resin 集 群 (Cluster) 或 MYSQL 集群 (Cluster) 来 说 ， 它 的 涵盖 面 要 广 得 多 ， 
包括 了 负载 均衡 高 可 用 。 这 里 为 了 便于 区 别 ， 笔 者 在 提 到 集群 (Cluster) 时 一 般 会 带 上 前 经 ， 比 方 说 Web 集 群 (Cluster) ， 那 么 此 时 所 指 的 是 后 端 提供 相同 服务 的 Web 机 器 群 ， 如 果 是 Linux 集 群 ， 那 么 指 
的 就 是 大 范围 的 系统 集群 架构 ， 希 望 大 家 不 要 混淆 。 

































































目前 ， 在 线 上 环境 中 应 用 较 多 的 负载 均衡 器 硬件 有 F5 BIG-IP 和 Citrix NetScaler， 软 件 有 LVS、Nginx 及 HAProxy， 高 可 用 软件 有 Heartbeat、Keepalived， 成 熟 的 Linux 集 群 架构 有 DNS 轮 询 、 








LVS+Keepalived、Nginx/HAproxy+Keeaplived 及 DRBD+Heartbeat。 


5.1.2 ”以 F5 BIG-IP 作 为 负载 均衡 器 





以 硬件 作为 负载 均衡 器 时 主要 有 F5 BIG-IP 和 Citrix NetScaler， 在 CDN 机 房 最 常见 的 硬件 负载 均衡 设备 就 是 F5 BIG-IP。 















































笔者 之 前 的 项 目 实施 过 程 中 主要 用 的 也 是 F5 BIG-IP， 这 里 做 一 个 简单 的 介绍 。F5 BIG-IP 的 官方 名 称 叫 做 本 地 流量 管理 器 ， 可 以 做 4 ~ 7 层 的 负载 均衡 ， 具 有 负载 均衡 、 应 用 交换 、 会 话 交 换 、 状 态 监 
控 、 智 能 网 络 地址 转换 、 通 用 持续 性 、 响 应 错误 处 理 、IPv6 网 关 、 高 级 路 由 、 智 能 端口 镜像 、SSL 加 速 、 智 能 HTTP 压 缩 、TCP 优 化 、 第 7 层 速 率 整形 、 内 容 缓 冲 、 内 容 转换 、 连 接 加 速 、 高 速 缓存 、Cookie 
加 密 、 选 择 性 内 容 加 密 、 应 用 攻击 过 滤 、 拒 绝 服务 (DoS) 攻击 和 SYN Flood 保 护 、 包 过 滤 防火 墙 、 包 消毒 等 功能 。 


















































以 下 是 F5 BIG-IP 用 作 HTTP 负 载 均衡 器 的 主要 功能 : 


























1) F5 BIG-IP 提 供 了 12 种 灵活 的 算法 将 所 有 流量 均衡 地 分 配 到 各 个 服务 器 ， 而 面 对 用 户 ， 它 只 是 一 台 虚 拟 服务 器 。 












































2) F5 BIG-IP 可 以 确认 应 用 程序 能 否 针对 请 求 返回 相应 的 数据 。 假 如 F5 BIG-IP 后 面 的 某 一 台 服 务 器 发 生 服务 停止 、 死 机 等 故障 ，F5 会 检查 出 来 并 将 该 服务 器 标识 为 宕 机 ， 从 而 不 将 用 户 的 访问 请 求 传 
送 到 该 台 发 生 故障 的 服务 器 上 。 只 要 其 他 的 服务 器 正常 ， 的 访问 就 不 会 受到 影响 。 宕 机 的 服务 器 一 旦 修复 ，F5 BIG-IP 就 会 自动 查证 ， 在 了 解 到 其 能 对 客户 请 求 做 出 正确 响应 时 立即 恢复 向 该 服务 器 传送 


请 求 。 






















































































3) F5 BIG-IP 具 有 动态 Session 的 会 话 保持 功能 。 








法 
人 各 阶段 由 于 成 本 原因 和 可 控 性 等 方面 的 考虑 ， 不 会 再 采用 硬件 负载 均衡 的 方案 了 ， 基 本 上 会 选择 成 熟 免 费 开 源 软件 的 方案 。 


5.1.3 ”以 LVS 作 为 负载 均衡 器 




















LVS 全 称 为 Linux Virtual Server， 这 是 章 文 沉 博士 ( 现 淘 宝 网 基础 核心 软件 研发 负责 人 ) 主持 的 自由 项 目 。 








它 是 一 个 负载 均衡 /高 可 用 性 集群 ， 主 要 针对 大 业务 量 的 网 络 应 用 (如 新 闻 服 务 、 网 上 银行 、 电 子 商务 等 ) 。LVs 建 立 在 一 个 主 控 服务 器 (通常 为 双 机 ) 及 若干 真实 服务 器 (real-server) 所 组 成 的 集群 
之 上 。real-server 负 责 实际 提供 服务 ， 主 控 服务 器 根据 指定 的 调度 算法 对 real-server 进 行 控制 。 而 集群 的 结构 对 于 用 户 来 说 是 透明 的 ， 客 户 端 只 与 单个 的 IP (集群 系统 的 虚拟 IP) 进行 通信 ， 也 就 是 说 ， 从 
客户 端的 视角 来 看 ， 这 里 只 存在 单个 服务 器 。Real-server 可 以 提供 众多 服务 ， 如 ftp、http、dns、telnet、smtp， 以 及 现在 比较 流行 将 其 用 于 MySQL 集 群 。 主 控 服 务 器 负责 对 Real-Server 进 行 控制 。 客 户 
端 在 向 LVS 发 出 服务 请 求 时 ，Director 会 通过 特定 的 调度 算法 指定 由 某 个 Real-Server 来 应 答 请 求 ， 而 客户 端 只 与 Load Balancer 的 IP ( 即 虚 拟 的 VIP) 进行 通信 。 以 上 工作 流程 图 用 LVS 的 工作 拓扑 来 说 明 的 


话 ， 可 能 效果 会 更 好 ， 效 果 图 如 图 5-1 所 示 。 











































































































1.LVS 集 群 的 体系 结构 


















































在 设计 时 需要 考虑 系统 的 透明 性 、 可 伸缩 性 、 高 可 用 性 和 易 管理 性 。 一 般 来 说 ，LVS 集 群 采用 三 层 结构 ， 三 层 主 要 组 成 部 分 为 : 
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“ 负载 调度 器 (load balancer) 。 
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图 5-1 LVS 集 群 的 体系 结构 


“ 服务 器 池 (server pool) 。 它 是 一 组 真正 执行 客户 请 求 的 服务 器 ， 执 行 的 服务 有 WEB、MAIL、FTP 和 DNS 等 。 


:共享 存储 (shared storage) 。 它 为 





调度 器 是 服务 器 集群 系统 的 唯一 入 口 


点 (Single Entry Point) ， 它 可 以 采用 IP 负 载 均衡 技术 、 基 于 内 容 请 求 分 发 技术 或 将 两 者 结合 


有 务 器 池 提 供 一 个 共享 的 存储 区 ， 这 样 很 容易 使 得 服务 器 池 拥 有 相同 的 内 容 ， 提 供 相同 的 服务 。 
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Storage 


它 是 整个 集群 对 外 的 前 端 机 ， 负 责 将 客户 的 请 求 发 送 到 一 组 服务 器 上 执行 ， 而 客户 认为 服务 是 来 自 一 个 IP 地 址 (我 们 可 称 之 为 虚拟 IP 地 址 ) 上 的 。 


。 在 IP 负 载 均衡 技术 中 ， 需 要 服务 器 池 拥有 相同 的 内 容 提供 相同 


的 服务 。 当 客户 请 求 到 达 时 ， 调 度 器 只 根据 服务 器 负载 情况 和 设 定 的 调度 算法 从 服务 器 池 中 选 出 一 个 服务 器 ， 将 该 请 求 转 发 到 选 出 的 服务 器 ， 并 记录 这 个 调度 。 当 这 个 请 求 的 其 他 报 文 到 达 时 ， 也 会 被 转发 


到 前 面 选 出 的 服务 器 。 在 基于 内 容 请 求 分 发 技术 中 ， 服 务 器 可 以 提供 不 同 的 服务 ， 当 客户 请 求 到 达 时 ， 调 度 器 可 根据 请 求 的 内 容 选 择 服务 器 执行 请 求 。 
的 ， 





它 的 调度 开销 很 小 ， 所 以 它 具 有 很 高 的 吞吐 率 。 








B 务 器 池 的 结 点 数目 是 可 变 的 








性 ， 请 求 可 以 在 不 同 的 结 点 上 并 行 执行 ， 所 以 整个 系统 的 性 能 基本 上 可 以 随 着 服务 器 池 的 结 点 数目 增加 而 线性 增长 。 


和 


共享 存储 通常 是 数据 库 、 网 络 文件 系统 或 者 分 布 式 文件 系统 。 服 务 器 结 点 需要 动态 更 新 的 数据 一 般 存 储 在 数据 库 系统 中 ， 
系统 (如 NFS/CIFS) 中 ， 但 网 络 文件 系统 的 伸缩 能 力 有 | 
Intermezzo 等 。 分 布 式 文件 系统 可 为 各 | 

















程序 同时 读 写 访问 分 布 式 文件 系统 上 同一 资源 时 ， 应 

















提供 的 ， 也 可 能 是 外 部 的 。 开 发 者 在 写 应 











民 ， 一 般 来 说 ，NFS/CIFS 服 务 器 只 能 支持 3 ~ 6 个 繁忙 的 服务 器 结 点 。 对 于 规模 较 大 的 集群 系统 ， 可 以 考虑 
民 务 器 提供 共享 的 存储 区 ， 它 们 访问 分 布 式 文件 系统 就 像 访 问 本 地 文件 系统 一 样 ， 同 


同时 数据 库 会 保证 并 发 访问 时 数据 的 一 致 性 。 




















因为 所 有 的 操作 都 是 在 Linux 操 作 系统 核心 空间 中 完成 


。 当 整个 系统 收 到 的 负载 超过 目前 所 有 结 点 的 处 理 能 力 时 ， 可 以 在 服务 器 池 中 增加 服务 器 来 满足 不 断 增长 的 请 求 负载 。 对 大 多 数 网 络 服务 来 说， 请 求 间 不 存在 很 强 的 相关 


静态 的 数据 可 以 存储 在 网 络 文件 


分 布 式 文件 系统 ， 如 AFS、GFS、Coda 























时 分 布 式 文件 系统 可 提供 良好 的 伸缩 性 和 可 
































程序 时 ， 可 以 使 











分 布 式 锁 管理 器 来 保证 应 











程序 在 不 同 结 点 上 并 发 访问 的 一 致 性 。 





负载 调度 器 、 服 务 器 池 和 共享 存储 系统 通过 高 速 网络 相 连接 ， 如 100Mbps 交 换 网 络 、Myrinet 和 Gigabit 网 络 等 。 使 F 

















Graphic Monitor 是 为 系统 管理 员 提供 整个 集群 系统 的 监视 器 ， 它 可 以 监视 系统 的 状态 。Graphic Monitor 是 基于 浏览 器 的 ， 所 以 无 论 管理 员 在 本 地 还 是 异地 都 可 以 监 








性 。 此 外 ， 当 不 同 服务 器 上 的 应 


程序 的 访问 冲突 需要 消解 才能 使 得 资源 处 于 一 致 状态 。 这 需要 一 个 分 布 式 锁 管理 器 (Distributed Lock Manager) ， 它 可 能 是 分 布 式 文件 系统 内 部 


高 速 的 网 络 ， 主 要 为 避免 当 系统 规模 扩大 时 互联 网 络 成 为 整个 系统 的 瓶颈 。 


测 系统 的 状况 。 为 了 安全 ， 浏 览 


器 要 通过 HTTPS (Secure HTTP) 协议 和 身份 认证 





2.LVS 中 的 IP 负 载 均衡 算法 

















户 通过 虚拟 IP; 
定 服务 器 的 地 址 ， 报 文 的 目标 端口 
口 ， 再 把 报 文 发 给 
术 ， 使 得 进行 负载 均衡 调度 的 用 户 进程 访问 
Alteon 的 ACEDirector 和 F5 的 Big/IP 是 非常 昂 





























户 。Berke 





























IBM 的 TCP Router 使 用 修改 过 的 网 络 地 # 





后 ， 


改写 成 选 定 服务 器 的 相应 端口 ， 
ey 的 MagicRouter、Cisco 的 LocalDirector、Alteon 的 ACEDirector 和 F5 的 Big/IP 等 都 是 使 用 网 络 地 址 转换 方法 。MagicRoute 
络 设备 接近 核心 空间 的 速度 ， 降 低 了 上 下 文 切 换 的 处 理 开销 ， 但 并 不 彻底 ， 它 只 是 研究 的 原型 系统 ， 没 有 成 为 有 
贵 的 商品 化 系统 ， 它 们 支 


才能 进行 系统 监测 ， 并 进行 系统 的 配置 和 管理 。 


也 址 (Virtual IP Address) 访问 服务 时 ， 访 问 请 求 的 报 文 会 到 达 负 载 调度 器 ， 由 它 进行 负载 均衡 调度 ， 从 一 组 真实 服务 器 中 选 出 一 个 ， 将] 
后 将 报 文 发 送 给 选 定 的 服务 器 。 真 实 服务 器 的 回应 报 文 经 过 负载 调度 器 时 ， 将 报 文 的 源 地 址 和 源 端 口 














取 


持 部 分 TCP/UDP 协 议 ， 有 些 在 ICMP 处 理 上 存在 问题 。 














Router 地 址 而 非 



































服务 器 在 non-ARP 的 设备 上 配置 路 由 器 的 地 忆 
的 。 





在 贝尔 实验 室 的 ONE-IP 中 ， 每 台 服务 器 都 具有 独立 的 IP 地 址 ， 但 都 


止 。 这 种 方法 与 LVS 集 群 中 的 


给 客户 ， 坏 处 是 每 台 服务 器 的 操作 系统 内 核 都 需要 修改 。IBM 的 NetDispatche 

















报 文 的 目标 地 址 Virtual IP Address 改 写成 选 
改 为 Virtual IP Address 和 相应 的 端 
[是 在 Linux 1.3 版 本 上 应 用 快速 报 文 插入 技 


的 系统 存活 下 来 。Cisco 的 LocalDirector、 















































止 转换 方法 在 SP/2 系 统 实现 可 伸缩 的 Web 服 务 器 。TCP Router 修 改 请 求 报 文 的 目标 地 址 并 把 它 转 发 给 选 出 的 服务 器 ， 服 务 器 能 把 响应 报 文 的 源 地 址 置 为 TCP 
己 的 地 址 。 这 种 方法 的 好 处 是 响应 报 文 可 以 直接 返回 


r 是 TCP Router 的 后 继 者 ， 它 将 报 文 转发 给 服务 器 ， 而 











VS/DR 类 似 ， 它 






































IP Alias 配 置 上 同一 VIP 地 址 ， 采 
































结果 。 这 种 方法 也 是 为 了 避免 回应 报 文 的 














看 写 ， 但 是 每 台 服 务 器 


有 很 高 的 可 伸缩 性 ， 但 一 套 在 IBM SP/2 和 NetDispatcher 需 


路 由 和 广播 两 种 方法 分 发 请 求 ， 服 务 器 收 到 请 求 


上 百 万 美金 。 总 的 来 说 ，IBM 的 技术 还 是 很 不 错 

















后 按 VIP 地 址 处 理 请 求 ， 并 以 VIP 为 源 地 址 返 





日 



































来 过 滤 报 文 ， 使 得 只 有 一 台 服 务 器 处 理 广播 过 来 的 请 求 。 


微软 的 Windows NT 负载 均衡 服务 (Windows 
行 在 网 卡 驱动 程序 和 TCP/IP 协 议 栈 之 间 ， 获 得 

















标 地 址 为 VIP 的 报 文 ， 它 的 过 滤 算 法 检查 报 文 的 源 I|P 地 址 和 端 


NT Load Balancing Service，WLBS) 是 1998 稀 




















所 有 服务 器 需要 协商 一 个 新 的 过 滤 算法 ， 这 会 


3. 通 过 NAT 实 现 虚 拟 服务 器 (VS/NAT) 





导致 所 有 有 Session 的 连接 中 断 。 同 时 ，WLBS 需 要 所 有 的 服务 器 有 相同 的 配置 ， 如 网 卡 速度 和 处 理 能 力 。 








由 于 IPv4 中 IP 地 址 空间 的 日 益 紧张 和 安全 方 





H 








的 原 





因 











， 很 多 网 络 使 
































， 而 是 专门 为 内 部 网 络 预 留 的 。 当 内 部 网 络 中 的 
的 外 部 地 址 。NAT 的 工作 原理 是 报 文 头 (目标 























可 


E 机 要 访 
也 址 、 源 地 址 和 端 














问 Internet 或 被 Internet 访 问 时 ， 就 需 








米 上 


等 ) 被 正确 改写 后 ， 客 户 相信 它 1 




















法 将 不 同 IP 地 址 的 并 行 网 络 服务 变 成 在 一 个 |P 地 址 上 的 一 个 虚拟 服务 。 





VSVNAT 的 体系 结构 比较 简 和 
样 的。 服务 的 内 容 可 


IP Alias 配 置 上 同一 VIP 地 址 ， 会 导致 地 址 冲突 ， 有 些 操作 系统 会 出 现 网络 失 效 。 通 过 广播 分 发 请 求 ， 同 检 


F 底 收购 Valence Research 公 司 获 得 的 ， 它 与 ONE-IP 中 的 基于 本 地 过 渡 方 法 一 样 。WLBS 作 为 过 
号 ， 保 证 只 有 一 台 服 务 器 将 报 文 交 给 上 一 


修改 服务 器 操作 系统 的 源码 


= 
前 








当 有 新 结 点 加 入 或 有 结 点 失效 时 ， 





层 处 理 。 但 是 ， 


保留 IP 地 址 (10.0.0.0/255.0.0.0、172.16.0.0/255.128.0.0 和 192.168.0.0/255.255.0.0) [64，65，66]。 这 些 地 址 不 在 Internet 上 使 
网 络 地 址 转换 (Network Address Translation， 以 下 简称 NAT) ， 将 内 部 地 址 转化 为 Internets 上 
门 连接 一 个 IP 地 址 ， 而 不 同 IP 地 址 的 服务 器 组 也 认为 它们 是 与 客户 直接 相连 的 。 由 此 ， 可 以 


























NAT 方 


























:在 一 组 服务 器 前 有 一 个 调度 器 ， 它 们 是 通过 Switch/HUB 相 连接 的 。 这 些 服务 器 提供 相同 的 网 络 服务 和 相同 的 内 容 
以 复制 到 每 台 服 务 器 的 本 地 硬盘 上 ， 可 以 通过 网 络 文件 系统 (如 NFS) 共享 ， 也 可 以 通过 一 个 分 布 式 文件 系统 来 提供 。 





客户 通过 Virtual IP Address (虚拟 服务 | 
成 选 定 服务 器 的 地 址 ， 报 文 的 目标 端口 


的 |P 地 | 





改写 成 选 定 服务 器 的 相应 端口 ， 





址 ) 访问 网 络 服务 时 ， 请 求 报 文 到 达 调 度 器 ， 调 度 器 根据 连接 调度 算法 从 一 组 真实 服务 器 中 选 出 一 台 服 务 器 ， 将 报 文 的 


， 即 不 管 请 求 被 发 送 到 哪 一 台 服 务 器 ， 执 行 结果 都 是 一 








标 地址 Virtual IP Address 改 写 




















后 将 修改 


取 





Hash 表 中 可 以 得 到 原 选 定 服务 器 的 地 址 和 端 
Address 和 相应 的 端口 ， 再 把 报 文 发 给 用 户 。 
移 ， 这 里 我 们 不 再 一 一 叙述 。 在 UDP 中 ， 我 人 
钟 ; UDP 状态 的 超时 为 5 分 钟 。 当 连接 终止 或 超时 ， 






































这 样 , 客 
文 来 计算 Checksum 的 开销 。 





4. 通 过 IP 隧 道 实现 虚拟 服务 器 (VS/TUN) 


， 进 行 同样 的 改写 操作 ， 并 将 报 文 传 给 原 选 定 的 服务 器 。 当 来 
我 们 在 连接 上 引入 一 个 状态 机 ， 不 同 
] 只 设置 一 个 UDP 状态 。 不 同 


户 所 看 到 的 只 是 在 Virtual IP Address 上 提供 的 服务 ， 而 服务 器 集群 的 结构 对 用 户 是 透明 的 。 对 改写 
































的 报 文 会 使 得 连接 处 于 不 同 





调度 器 将 这 个 连接 从 连接 Hash 表 中 删除 。 

















在 VS/NAT 的 集群 系统 中 ， 请 求 和 响应 的 数 
点 : 请 求 报 文 较 短 而 响应 报 文 包含 大 量 数据 。 如 








果 全 


导报 文 都 需 
将 请 求 和 响应 分 开 处 理 ， 即 在 负载 调度 器 中 只 负责 调度 请 求 ， 而 响应 直接 返回 给 客 





通过 负载 调度 器 ， 当 真实 服务 器 的 数 








后 的 报 文 发 送 给 选 出 的 服务 器 。 同 时 ， 调 度 器 在 连接 Hash 表 中 记录 这 个 连接 ， 当 这 个 连接 的 下 一 个 报 文 到 达 时 ， 从 连接 
实 服务 器 的 响应 报 文 经 过 调度 器 时 ， 调 度 器 将 报 文 的 源 地 | 
的 状态 ， 不 同 的 状态 有 不 同 的 超时 值 。 在 TCP 连 接 中 ， 根 据 标准 的 TCP 有 限 状 态 机 进行 状态 迁 

状态 的 超时 值 是 可 以 设置 的 ， 在 缺 省 情况 下 ，SYN 状 态 的 超时 为 1 分 钟 ，ESTABLISHED 状 态 的 超时 为 15 分 钟 ，FIN 状 态 的 超时 为 1 分 








止 和 源 端口 改 为 Virtual IP 











后 的 报 文 ， 应 用 增 量 调整 Checksum 的 算法 来 调整 TCP Checksum 的 值 ， 避 免 了 扫描 整个 报 


目 在 10 台 和 20 台 之 间 时 ， 负 载 调 度 器 将 成 为 整个 集群 系统 的 新 瓶颈 。 大 多 数 Internet 服 务 都 有 这 样 的 特 














户 ， 这 将 极 大 地 提高 整个 集群 系统 的 吞吐 量 。 


IP 隧 道 (IP tunneling) 是 将 一 个 IP 报 文 封装 在 另 一 个 1P 报 文 的 技术 ， 这 可 以 使 得 目标 为 一 个 IP 地 址 的 数据 报 文 能 被 封装 和 转发 到 另 一 个 IP 地 址 。IP 隧 道 技 术 亦 称 为 IP 封 装 技术 (IP 


























于 移动 





encapsulation) ，IP 隧 道 








我 们 利 























5. 通 过 直接 路 由 实现 虚拟 服务 器 (VS/DR) 











跟 VS/TUN 方 法 相同 ，VSVDR 利 用 大 多 数 Internet 服 务 的 非 对称 特 点 ， 负 载 调度 器 中 只 负责 调度 请 求 ， 而 服务 器 直接 将 响应 返 
的 方法 类 似 (其 中 服务 器 上 的 IP 地 址 配置 方法 是 相似 








NetDispatcher 产 品 中 使 














VS/DR 的 体系 结构 比较 简单 ， 调 度 器 和 
对 外 可 见 的 ， 用 于 接收 虚拟 























VS/DR 连 


机 和 虚拟 私有 网 络 (Virtual Private Networ| 


1P 隧 道 技术 将 请 求 报 文 封装 转发 给 后 端 服务 器 ， 响 应 报 文 能 从 后 端 
选择 一 台 服 务 器 ， 将 请 求 报 文 封装 和 转发 给 选 出 的 服务 器 。 这 样 ， 我 们 就 可 以 利 





) 














有 务 器 直接 返 





日 



































， 其 中 隧道 都 是 静态 建立 的 ， 隧 道 一 端 有 一 个 IP 地 址 ， 另 一 端 也 有 了 唯一 的 IP 地 址 。 








给 客户 。 但 在 这 里 ， 后 端 服 务 器 有 一 组 而 非 一 个 ， 所 以 我 们 不 可 能 静态 地 建立 一 一 对 应 的 隧道 ， 而 是 动态 地 
IP 隧 道 的 原理 将 一 组 服务 器 上 的 网 络 服务 组 成 在 一 个 IP 地 址 上 的 虚拟 网 


络 服务 。 














回 给 客 
贵 的 商品 化 产品 ， 我 们 也 不 知 








昂 


的 ) ， 但 IBM 的 NetDispatcher 是 非常 


0 服务 器 组 都 必须 在 物理 上 有 一 个 网 卡通 过 不 分 断 的 局 域 网 相连 ， 如 通过 高 速 的 交换 机 或 者 HUB 相 连 。VIP 地 址 为 调度 器 和 
服务 的 请 求 报 文 ， 所 有 的 服务 器 把 VIP 地 址 配置 在 各 


























的 Non-ARP 网 络 设备 上 ， 它 对 外 是 不 可 于 处 理 目标 地 











见 的 ， 只 是 

















接 调度 和 管理 与 VS/NAT 和 VS/TUN 中 的 一 样 ， 但 它 的 报 文 转发 方法 有 所 不 同 ， 将 报 文 直接 路 由 给 目标 服务 器 。 在 VS/DR 中 ， 调 度 器 根据 各 个 
修改 也 不 封装 IP 报 文 ， 而 是 将 数据 帧 的 MAC 地 址 改 为 选 


























出 服务 器 的 MAC 地 址 ， 再 将 修改 后 的 数据 帧 在 与 服务 器 组 相连 的 局 域 网 上 发 送 。 因 为 数据 帧 的 








户 ， 这 可 以 极 大 : 
道 它 内 部 所 使 


此 为 V 





也 提高 整个 集群 系统 的 吞吐 量 。 该 方法 与 BM 的 
的 机 制 ， 其 中 有 些 是 IBM 的 专利 。 























有 务 器 组 共享 ， 调 度 器 配置 的 VIP 地 址 是 
P 的 网 络 请 求 。 


民 务 器 的 负载 情况 ， 动 态 地 选择 一 台 服 务 器 ， 不 
MAC 地 址 是 选 出 的 服务 器 ， 所 以 服务 器 肯定 可 以 收 到 











这 个 数据 帧 ， 从 中 可 以 获得 该 IP 报 文 。 当 服务 器 发 现 报 文 的 


在 VS/DR 中 ， 根 据 缺 省 的 TCP/IP 协 议 栈 处 理 ， 请 求 报 文 | 


知道 是 哪 一 台 服 务 器 处 理 的 。 


VS/DR 负 载 调 度 器 跟 VS/TUN 一 样 只 处 于 从 客户 到 服务 器 的 


6.LVS 新 模式 FULLNAT 简 介 


在 大 规模 的 网 络 下 ， 如 在 淘宝 的 业务 中 ， 官 方 LVS 满 足 不 了 需求 ， 原 因 





1) 刚才 讲 的 三 种 转发 模式 ， 部 署 成 本 较 高 ; 





标 地 址 VIP 是 在 本 地 的 网 络 设备 上 ， 服 务 器 处 理 这 个 报 文 ， 然 后 根据 路 由 表 将 响应 报 文 直 











接 返 


向 


回 给 客户 。 




















向 应 报 文 的 源 地 





目标 地 址 为 VIP,， 








连接 中 ， 按 照 半 连接 的 TCP 有 限 状 态 机 进行 状态 迁移 。 














如 下 : 





肯定 也 为 VIP， 所 以 响应 报 文 不 需要 做 任何 修改 ,可 以 直 


接 返 回 给 客 








户 ， 客 户 认 为 得 到 正常 的 服务 ， 而 不 会 











2) 和 商用 的 负载 均衡 相 比 ，LVS 没 有 DDOS 防 御 攻击 功能 ; 











3) 主 备 部 署 模式 ， 性 能 无 法 扩展 。 如 某 个 VIP 下 的 流量 特别 大 怎么 办 ? 














第 一 点 ，LVS 转 发 模式 的 不 足 ， 下 面 来 展开 描述 一 下 。 




















DR 的 不 足 : 必须 要 求 LVS 跟 后 端 所 有 的 REPLY 放 在 同一 个 VLAN 里 。 当 然 ， 有 人 会 提出 来 分 几 个 区 ,每 
个 VIP 下 ， 这 是 无 法 实现 的 。 





全 












































区 布 一 个 LVS， 但 一 个 区 VM 资 源 没有 了 ， 就 只 能 用 其 他 区 的 VM ， 而 用 户 需要 这 些 VM 挂 到 同一 




















NAT 的 不 足 : NAT 的 最 主要 问题 就 是 配置 处 理 很 复杂 。 阿 里 原来 购买 商业 设备 的 时 候 ， 需 要 在 交换 机 上 配 策略 路 由 ，OUT 方 向 的 策略 路 由 ， 因 为 九 余 考 虑 会 部 署 多 套 负载 均衡 ， 走 默认 路 由 只 能 到 达 一 











套 负载 均衡 。 
TUNNEL 的 不 足 : 隧道 的 问题 也 是 配置 过 于 复杂 ，RealServer 需 要 加 载 一 个 I|PIP 模 块 ， 同 时 做 一 些 配置 。 


针对 上 述 问题 ， 也 有 相对 应 的 解决 方法 。 











1) LVS 各 转发 模式 运 维 成 本 高 。 解 决 方法 : 使 用 新 转发 模式 FULLNAT，FULLNAT 实 现 了 LVS-RealServer 间 跨 vlan 通讯 ， 并 且 in/out 流 都 经 过 LVS。FULLNAT 转 发 数据 包 类 似 NAT 模 式 ，IN 和 OUT 数 据 





包 都 是 经 过 LVS， 唯 一 的 区 别 是 后 端 RealServer 或 者 交换 机 不 需要 做 任何 配置 。FULLNAT 的 主要 原理 是 引入 local address (内 网 ip 地 址 ) 





通讯 。 














，Cip-vip 转 换 为 lip->rip， 而 lip 和 rip 均 为 IDC 内 网 IP， 可 以 跨 VLAN 


2) 缺少 攻击 防御 模块 。 和 商用 的 负载 均衡 相 比 ，LVS 没 有 DDOS 防 御 攻 击 能 力 。 解 决 方法 : 使 用 SYNPROXY (SynFlood 攻 击 防 御 模块 ) ，Synproxy 实 现 的 主要 原理 是 参照 TCP 协 议 栈 中 SynCookies 的 























思想 ，LVS 构 造 特殊 SEQ 的 SYNACK 包 ， 验 证 ACK 包 中 ACK_SEQ 是 否 合法 实现 了 TCP 三 次 握手 代理 。 














3) 主 备 部 署 模式 ， 性 能 无 法 扩展 。 解 决 方法 :Cluster 部 署 模式 ， 基 于 FulINAT 模 式 做 横向 扩展 。 





关于 FULLNAT 更 多 更 多 资料 介绍 请 参考 文档 : http://www.infoq.com/cn/news/2014/10/Ivs-use-at-large-scala-network。 


7. 算 法 简介 

















在 选 定 转发 方式 的 情况 下 ， 采 用 哪 种 调度 算法 将 决定 整个 负载 均衡 的 性 能 表现 ， 不 同 的 算法 适用 于 不 同 的 应 用 场合 ， 有 时 可 能 需要 针对 特殊 场合 自行 设计 调度 算法 。 每 个 负载 均衡 器 都 有 自己 独 有 的 算 




















法 ， 下 面 跟 大 家 介绍 下 LVS/HAProxy/Nginx 常 见 的 算法 。 





(1) LVS 的 常见 算法 


LVS 常 见 的 算法 如 下 所 示 : 








1) 轮 叫 调度 (Round Robin) : 调度 器 通过 “ 轮 叫 ”调度 算法 将 外 部 请 求 按 顺序 轮流 分 配 到 集群 中 的 真实 服务 器 上 ， 它 均等 地 对 待 每 一 台 服务 器 ， 而 不 管 服务 器 上 实际 的 连接 数 和 系统 负载 。 任 何 形 











式 的 负载 均衡 器 (包括 硬件 或 软件 级 别 的 ) 都 带 有 基本 的 轮 叫 (也 叫 轮 询 功能 ) 。 


2) 加 权 轮 叫 (Weighted Round Robin) : 调度 器 通过 “加 权 轮 叫 ”调度 算法 ， 根 据 真实 服务 器 的 不 同 处 理 能 力 来 调度 访问 请 求 。 这 样 可 以 保证 处 理 能 力 强 的 服务 器 能 处 理 更 多 的 访问 流量 。 调 度 器 





可 以 自动 问 询 真实 服务 器 的 负载 情况 ， 并 动态 地 调整 其 权 值 。 





















































3) 最 少 链接 (Least Connections) : 调度 器 通过 “最 少 连接 ”调度 算法 动态 地 将 网 络 请 求 调度 到 已 建立 的 链接 数 最 少 的 服务 器 上 。 如 果 集群 系统 的 真实 服务 器 具有 相近 的 系统 性 能 ， 采 用 “最 小 连 


接 ” 调 度 算法 可 以 较 好 地 均衡 负载 。 



































4) 加 权 最 少 链接 (Weighted Least Connections) : 在 集群 系统 中 的 服务 器 性 能 差异 较 大 的 情况 下 ， 调 度 器 采用 “加 权 最 少 链接 ”调度 算法 优化 负载 均衡 性 能 ， 具 有 较 高 权 值 的 服务 器 将 承受 较 大 比 





例 的 活动 连接 负载 。 调 度 器 可 以 自动 问 询 真实 服务 器 的 负载 情况 ， 并 动态 地 调整 其 权 值 。 
































5) 基于 局 部 性 的 最 少 链接 (Locality-Based Least Connections) : “基于 局 部 性 的 最 少 链接 ”调度 算法 是 针对 目标 |P 地 址 的 负载 均衡 ， 目 前 















































找 出 该 目标 I[P 地 址 最 近 使 用 的 服务 器 ， 若 该 服务 器 是 可 用 的 且 没 有 超载 ， 将 请 求 发 送 到 该 服务 器 ; 若 服务 器 不 存在 ， 或 者 该 服务 器 超载 




















可 用 的 服务 器 ， 将 请 求 发 送 到 该 服务 器 。 
























































6) 带 复制 的 基于 局 部 性 最 少 链接 (Locality-Based Least Connections with Replication) : “ 带 复制 的 基于 局 部 性 最 少 链接 ”调度 算法 也 是 针对 
统 。 它 与 LBLC 算 法 的 不 同 之 处 是 它 要 维护 从 一 个 目标 IP 地 址 到 一 组 服务 器 的 映射 ， 而 LBLC 算 法 维护 从 一 个 目标 IP 地 址 到 一 台 服 务 器 的 映射 。 该 算法 根据 请 求 的 目标 IP 地 址 找 出 该 目标 IP 地 址 对 应 的 服务 器 
组 ， 按 “最 小 连接 ”原则 从 服务 器 组 中 选 出 一 台 服务 器 ， 若 服务 器 没有 超载 ， 将 请 求 发 送 到 该 服务 器 ; 若 服务 器 超载 ， 则 按 “最 小 连接 ”原则 从 这 个 集群 中 选 出 一 台 服 务 器 ， 将 该 服务 器 加 入 到 服务 器 组 
中 ， 将 请 求 发 送 到 该 服务 器 。 同 时 ， 当 该 服务 器 组 有 一 段 时 间 没有 被 修改 ， 将 最 忙 的 服务 器 从 服务 器 组 中 删除 ， 以 降低 复制 的 程度 。 






































要 用 于 Cache 集 群 系统 。 该 算法 根据 请 求 的 目标 I|P 地 址 
有 服务 器 处 于 一 半 的 工作 负载 ， 则 用 “最 少 链接 ”的 原则 选 出 一 个 












































目标 IP 地 址 的 负载 均衡 ， 目 前 主要 用 于 Cache 集 群 系 


























7) 目标 地 址 散 列 (Destination IP Hashing) : “目标 地 址 散 列 ” 调 度 算法 根据 请 求 的 目标 IP 地 址 ， 作 为 散 列 键 (Hash Key) 从 静态 分 配 的 散 列 表 找 出 对 应 的 服务 器 ， 若 该 服务 器 是 可 用 的 且 未 超 





载 ， 将 请 求 发 送 到 该 服务 器 ， 否 则 返回 空 。 


8) 源 地 址 散 现 
到 该 服务 器 ， 否 则 返回 空 。 


a 






































9) 源 IP 端 口 的 Hash (Source IP and Source Port Hashing) : 通过 Hash 函 数 将 来 自 同一 个 源 IP 地 址 和 源 口 号 的 请 求 
请 求 被 分 发 到 同一 台 服 务 器 的 场景 。 











决 射 到 











10) 随机 (Random) : 随机 地 将 请 求 分 发 到 不 同 的 服务 器 上 ， 从 统计 学 角度 来 看 ， 调 度 的 结果 为 各 台 服 务 器 平均 分 担 


(2) HAProxy 的 常见 算法 

















HAProxy 的 算法 也 越 来 越 多 了 ， 具 体 有 如 下 8 种 : 


























1) roundrobin: 表示 简单 的 轮 询 ， 这 个 不 多 效 述 ， 负 载 均衡 基本 都 具备 的 算法 。 





























(Source IP Hashing) : “ 源 地 址 散 列 ”调度 算法 根据 请 求 的 源 IP 地 址 ， 作 为 散 列 键 (Hash Key) 从 静态 分 配 的 散 列表 找 出 对 应 的 服务 器 ， 若 该 服务 器 是 可 用 的 上 且 未 超载 ， 将 请 求 发 送 











后 端的 同一 台 服 务 器 上 ， 该 算法 适用 于 需要 保证 来 自 同一 用 户 同一 业务 的 

















户 的 








连接 请 求 ， 该 算法 适 


于 集群 中 各 机 器 性 能 相当 而 无 明显 优 劣 差异 的 场 








2) static-rr: 每 个 服务 器 根据 权重 轮流 使 用 ， 类 似 roundrobin， 但 它 是 静态 的 ， 意 味 着 运行 时 修改 权限 是 无 效 的。 另外 ， 它 对 服务 器 的 数量 没有 限制 。 





























3) leastconn: 连接 数 最 少 的 服务 器 优先 接收 连接 。leastconn 建 议 用 于 长 会 话 服务 ， 例 如 LDAP、SQL、TSE 等 。 该 算法 是 动态 的 ， 对 了 























4) source: 对 请 求 源 IP 地 址 进行 哈 希 ， 用 可 




















实例 启动 慢 的 服务 器 权重 会 在 运行 中 调整 。 

















服务 器 的 权重 总 数 除 以 哈 希 值 ， 根 据 结果 进行 分 配 。 只 要 服务 器 正常 ， 同 一 个 客户 端的 IP 地 址 总 是 访问 同一 个 服务 器 。 如 果 哈 希 的 结果 随 可 用 服务 器 数量 


而 变化 ， 那 么 客户 端 会 定向 到 不 同 的 服务 器 。 该 算法 一 般 
改 服务 器 的 权重 是 无 效 的 ， 但 是 算法 会 根据 “hash-type” 














于 不 能 








入 cookie 的 TCP 模 式 。 它 还 可 以 


的 变化 做 调整 。 











5) uri: 表示 根据 请 求 的 uri 地 址 进行 哈 希 ，| 














可 上 


服务 器 的 权重 


















































于 广域网 上 为 拒绝 使 



































的 提高 缓存 的 命中 率 。 该 算法 只 能 用 于 HTTP 后 端 。 该 算法 一 般 
整 。 
6) url_param: 表示 根据 请 求 的 UR 参数 。 在 HTTP GET 请 求 
































7) hdr (name) : 在 每 个 HTTP 请 求 中 查找 HTTP 头 <name>，HTTP 头 <name> 将 被 看 作 在 每 个 HTTP 请 求 ， 并 针对 特定 的 节点 。 
静态 的 ， 所 以 运行 时 修改 服务 器 的 权重 是 无 效 的 ， 但 是 算法 会 根据 “hash-type” 的 变化 做 调整 。 

8) rdp-cookie (name) : 为 每 个 进来 的 TCP 请 求 查询 并 哈 希 RDP cookie<name> ， 该 机 制 用 于 退化 的 持久 模式 ， 可 以 使 同一 个 
则 使 用 roundrobin 算 法 代替 。 该 算法 默认 是 静态 的 ， 所 以 运行 时 修改 服务 器 的 权重 是 无 效 的 ， 但 是 算法 会 根据 “hash-type” 的 变化 做 调整 。 




















(3) Nginx 的 常见 算法 

















的 算法 ， 如 下 有 : 








Nginx 在 工作 中 常 


1) 轮 询 (默认 ) : 每 个 请 求 按时 间 顺 序 逐 一 分 配 到 不 同 的 后 端 服务 器 ， 如 果 后 端 服务 器 down 掉 ， 则 会 跳 过 该 服务 器 分 配 至 下 一 个 监控 的 服务 器 。 并 


2) weight: 指定 在 轮 询 的 基础 上 加 上 权重 ，weight 和 访问 比率 成 正比 ， 即 上 

















户 的 信息 发 送 到 同一 个 后 端 服 务 器 。 该 算法 默认 是 静态 的 ， 所 以 运行 时 修改 服务 器 的 权 和 





后 端 是 缓存 服务 器 的 场景 。 


的 查询 串 中 查找 <param> 中 指定 的 URL 人 参数 ， 
是 无 效 的 ， 但 是 算法 会 根据 “hash-type” 的 变化 做 调整 。 





该 算法 默认 是 静态 














本 上 可 以 锁定 使 




















的 ， 所 以 运行 时 修改 服务 器 的 权重 


如 果 缺 少 头 或 者 头 没有 任何 值 ， 则 




































































3) ip_hash: 每 个 请 求 按 访问 IP 的 hash 结 果 分 配 ， 当 新 的 请 求 到 达 时 ， 先 将 











调度 算法 可 以 解决 Session 的 问题 ， 但 有 时 会 导致 分 配 不 均 而 无 法 保证 负载 均衡 。 


4) fair (第 三 方 ) : 按 后 端 服务 器 的 响应 时 间 来 分 配 请 求 ， 响 应 时 间 短 的 优先 分 配 。 

















5) url_hash (第 三 方 ) : 按 访问 ur| 的 hash 结 果 来 分 配 请 求 ， 使 每 个 url 定 向 到 同一 个 后 端 服务 器 ， 后 端 服务 器 为 缓存 时 比较 有 效 。 


在 upstream 中 加 入 hash 语 句 ，server 语 句 中 不 能 写 入 weight 等 其 他 的 参数 ，hash_method 使 


upstream web Pool 1{ 
server squidl:3128; 
server squid2:3128; 
hash $request uri; 
hash method crc32; 
} 





(4) 一 致 性 Hash 算 法 


阿里 巴巴 技术 团 




















的 是 hash 算 法 ， 如 下 所 示 : 














会 话 cookie 的 客户 端 提供 最 有 效 的 粘连 。 该 算法 默认 是 静态 的 ， 所 以 运行 时 修 








特制 的 URL 到 特定 的 负载 均衡 器 节点 的 要 求 ， 该 算法 一 般 


总 数 除 以 哈 希 值 ， 根 据 结 果 进 行 分 配 。 只 要 服务 器 正常 ， 同 一 个 URI 地 址 总 是 访问 同一 个 服务 器 。 一 般 用 于 代理 缓存 代理 ， 以 最 大 限 
是 无 效 的 ， 但 是 算法 会 根据 “hash-type” 的 变化 做 调 
































尽 


将 同一 个 


roundrobin 代 蔡 。 该 算法 默认 是 


户 或 者 同一 个 会 话 1D 总 是 发 送 给 同一 台 服 务 器 。 如 果 没 有 cookie， 


表明 后 端 服务 器 的 性 能 好 坏 ， 这 种 情况 特别 适合 后 端 服务 器 性 能 























一 致 的 工作 场景 。 


队 借 鉴 了 目前 最 流行 的 一 致 性 Hash 算 法 思路 ， 为 Nginx 新 增 了 一 致 性 Hash 算 法 。 它 的 具体 做 法 是 : 将 每 个 Server 虚 拟 成 N 个 节点 并 均匀 分 布 到 hash 环 上 ， 每 次 请 求 都 根 拉 





客户 端 |P 通 过 哈 希 算法 进行 哈 希 出 一 个 值 ， 只 要 随后 的 请 求 客户 端 |P 的 哈 希 值 相同 ， 就 会 被 分 配 至 同一 个 后 端 服务 器 ， 


它 无 需 记录 当前 所 有 连接 的 状态 ， 所 以 它 是 一 种 


该 


居 配 置 的 参数 计 


算出 一 个 hash 值 ， 在 hash 环 上 查找 离 这 个 hash 最 近 的 虚拟 节点 ， 对 应 的 server 作 为 该 次 请 求 的 后 端 机 器 ， 这 样 做 的 好 处 是 如 果 是 动态 地 增加 机 器 或 者 发 生 某 台 Web 机 器 发 生 Crash 情 况 ， 会 对 整个 集群 的 影 


响 最 小 。 











了 解 这 些 算法 原理 能 够 在 特定 的 应 











5.1.4 以 Nginx 作 为 负载 均衡 器 









































合 选择 最 适合 的 调度 算法 ， 从 而 尽 可 能 地 保持 Real Server 的 最 佳 利 























性 。 当 然 也 可 以 








行 开发 算法 ， 不 过 这 已 超出 本 文 范围 





















































































































































Nginx 在 
外 ， 它 相对 于 LVs 来 说 比较 有 优势 的 一 点 是 ， 由 于 它 是 基于 第 7 层 的 负载 均衡 ， 是 根据 报头 内 的 信息 来 执行 负载 均衡 任务 | 
内 ，Nginx 不 仅 可 作为 一 款 性 能 优异 的 负载 均衡 器 ， 同 时 也 是 一 款 适 用 于 高 并 发 环境 的 Web 应 用 软件 ， 在 新 浪 、 金 山 、 迅 雷 在 线 等 大 型 
1) 配置 文件 非常 简单 ， 风 格 跟 程序 一 样 通俗 易 懂 。 
2) 成 本 低廉 。Nginx 为 开源 软件 ， 可 以 免费 使 用 。 而 购买 F5 BIG-IP、Netscaler 等 硬件 负载 均衡 交换 机 需要 十 多 万 甚至 几 十 万 人 民 币 。 
3) 支持 Rewrite 重 写 规则 。 能 够 根据 域名 、URL 的 不 同 ， 将 HTTP 请 求 分 到 不 同 的 后 端 服务 器 群 组 上 。 
4) 有 内 置 的 健康 检查 功能 。 如 果 Nginx Proxy 后 端的 某 台 Web 服 务 器 宕 机 了 ， 不 会 影响 前 端 访问 。 
5) 节省 带宽 。 支 持 GZIP 压 缩 ， 可 以 添加 浏览 器 本 地 缓存 的 Header 头 。 
6) 稳定 性 高 。 用 于 反 向 代理 ， 宕 机 的 概率 微乎其微 。 通 过 跟踪 一 些 已 上 线 的 网 站 和 系统 ， 我 们 发 现在 高 并 发 的 情况 下 ，Nginx 作 为 负 器 
它 的 缺点 就 是 目前 只 支持 HTTP 和 MAIL 的 负载 均衡 ， 不 过 我 们 可 以 取长补短 ， 根 据 其 支持 Rewrite 重 写 规则 和 稳定 性 高 的 特点 ， 将 其 应 
所 示 。 


5.1.5 “以 HAProxy 作 为 负载 均衡 器 




















HAProxy 是 一 款 提 供 高 可 上 








性 、 负 载 均衡 ， 以 及 基 





HAProxy 是 完全 免费 的 ， 借 助 HAProxy 可 以 快速 且 可 靠 地 提供 基于 TCP 和 HTTP 应 | 
层 处 理 。HAProxy 完 全 可 以 支持 数 以 万 计 的 并 发 连接 ， 并 
映射 的 方法 ) 。HAProxy 也 是 一 款 优 秀 的 负载 均衡 软件 ， 其 优点 如 下 所 示 : 





会 话 保持 或 七 
过 防火 墙 80 端 口 





FTCP (第 四 








层 ) 和 HTTP (第 七 









































的 代理 解决 方案 。HAProxy 最 
HAProxy 的 运行 模式 可 以 使 它 简 和 








站 中 都 有 相关 应 












































于 大 型 网 站 中 间 级 别 的 负载 均衡 





层 ) 应 用 的 代理 软件 。 








多 衡器 / 反 向 代理 的 宕 机 次 数 几乎 是 零 。 


， 请 参考 有 关 算 法 原理 的 资料 。 
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(七 





慨 负 载 均衡 ) ， 如 














作 负 载 均衡 器 的 同时 也 是 反 向 代理 服务 器 ， 其 配置 语法 相当 简单 ， 可 以 按 轮 询 、ip_hash、url_hash、 权 重 等 多 种 方法 对 后 端的 服务 器 做 负载 均衡 ， 同 时 还 支持 后 端 服务 器 的 健康 检查 。 另 
的 ， 所 以 对 网 络 的 依赖 性 较 小 ， 理 论 上 只 要 ping 得 通 就 能 够 实现 负载 均衡 。 在 
。 其 作为 负载 均衡 器 的 优点 如 下 : 


5-2 


E 要 的 特点 是 性 能 ，HAProxy 特 别 适合 那些 负载 特别 大 的 Web 站 点 ， 这 些 站 点 通常 需 
a 安全 地 整合 到 我 们 的 网 站 系统 架构 中 ， 同 时 可 以 保护 我 们 的 Web 服 务 器 不 暴露 到 网 络 上 ( 即 通 






上 站 


Nginx Proxy Nginx Proxy 


| , 


Web 服 务 器 群 组 A Web 服 务 器 群 组 B Squid 服 务 硕 群 组 A 


图 5-2 Nginx 作 为 中 层 负载 均衡 器 的 拓扑 图 





1) 免费 开源 ， 稳 定性 也 非常 好 ， 可 通过 笔者 做 的 一 些 项 目 看 出 ， 单 Haproxy 也 跑 得 不 错 ， 其 稳定 性 可 以 与 硬件 级 的 F5 Big-IP 相 媲美 。 








2) 根据 官方 文档 可 知 ，HAProxy 可 以 跑 满 10Gbps， 这 个 数值 作为 软件 级 负载 均衡 器 是 相当 惊人 的 ， 具 体 可 以 参考 其 官方 说 明 http://haproxy.1wt.eu/10g.html。 





3) HAProxy 支 持 连 接 拒绝 。 因 为 维护 一 个 连接 打开 的 开销 是 很 低 的 ， 有 时 我 们 需要 限制 攻击 蠕虫 (Attack Bots) ， 也 就 是 说 通过 限制 它们 的 连接 打开 来 防止 它们 的 危害 。 这 个 功能 已 经 拯救 了 很 多 被 














DDOS 攻 击 的 小 型 站 点 ， 这 也 是 其 他 负载 均衡 器 所 不 具备 的 。 














4) HAProxy 支 持 全 透明 代理 (已 具备 硬件 防火 墙 的 典型 特点 ) 。 可 以 用 客户 端 |P 地 址 或 其 他 任何 地 址 来 连接 后 端 服务 器 。 这 个 特性 仅 在 Linux 2.4/2.6 内 核 打 了 cttproxy 补 丁 后 才 可 以 使 用 ， 这 个 特性 也 











使 为 某 些 特 殊 服务 器 处 理 部 分 流量 的 同时 又 不 修改 服务 器 的 地 址 成 为 可 能 。 


5) 自 带 强大 的 监控 服务 器 状态 的 页 面 ， 这 也 是 笔者 非常 喜欢 它 的 原因 之 一 。 














6) 从 1.5 版 本 开始 ，HAProxy 可 支持 原生 的 配置 SSL 证 书 ， 不 需要 再 和 stunnel 配 合 使 用 。 











7) HAProxy 支 持 虚拟 主机 ， 许 多 朋友 说 它 不 支持 虚拟 主机 ， 这 其 实 是 个 误区 ， 通 过 测试 可 以 发 现 HAProxy 是 支持 虚拟 主机 的 。 
































综 上 所 述 ， 由 于 HAProxy 的 稳定 和 强大 ， 现 在 笔者 多 将 其 用 于 取代 四 层 硬件 防火 墙 作为 网 站 的 最 外 层 接 入 ，Nginx 仍 作为 中 间 层 的 负载 均衡 层 (或 者 直接 简化 掉 这 层 ) ， 即 HAproxy 或 














LVS (LB) 一 Nginx (LB) (可 选择 ) 一 Web 集 群 。 


5.1.6 ”高 可 用 软件 Keepalived 


交换 机 制 的 软件 ， 也 就 是 我 们 平时 说 的 第 3 








Keepalived 是 一 款 优秀 的 实现 高 可 用 的 软件 ， 它 运行 在 LVS 之 上 ， 它 的 主要 功能 是 实现 真实 机 的 故障 隔离 及 负载 均衡 器 间 的 失败 切换 (FailOver) 。Keepalived 是 一 个 类 似 于 Layer3、Layer4、Layer 5 
、 第 4 层 和 第 5 层 交换 。Keepalived 的 作用 是 检测 Web 服 务 器 的 状态 ， 如 果 有 一 台 Web 服 务 器 死机 或 工作 出 现 故障 ，Keepalived 将 检测 到 并 将 有 故障 的 Web 服 务 







































































器 从 系统 中 剔除 ， 当 Web 服 务 器 工作 正常 后 ，Keepalived 会 自动 将 Web 服 务 器 加 入 到 服务 器 群 中 ， 这 些 工作 全 部 自动 完成 ， 不 需要 人 工 干涉 ， 需 要 人 工 做 的 只 是 修复 故障 的 Web 服 务 器 。 它 的 主要 特点 如 
下 所 示 : 


流程 让 许多 新 手 朋友 望 而 生 旦 。 


























1) Keepalived 是 LVS 的 扩展 项 目 ， 因 此 它们 之 间 具 备 良好 的 兼容 性 。 这 点 应 该 是 Keepalived 部 署 比 其 他 类 似 工具 更 简洁 的 原因 ， 尤 其 是 相对 于 Heartbeat 而 言 ，Heartbeat 作 为 HA 软件 ， 其 复杂 的 配置 

















2) 通过 对 服务 器 池 对 象 的 健康 检查 ， 实 现 对 失效 机 器 /服务 的 故障 隔离 。 

















3) 负载 均衡 器 之 间 的 失败 切换 failover 是 通过 VRRPv2 (Virtual Router Redundancy Protocol) stack 实 现 的 ，VRRP 当 初 被 设计 出 来 的 目的 就 是 为 了 解决 静态 路 由 器 的 单 点 故障 问题 。 

















4) 我 们 可 以 通过 实际 的 线 上 项 目 得 知 ，iptables 的 启用 不 会 影响 Keepalived 的 运行 ， 但 为 了 更 好 的 性 能 ， 我 们 通常 会 将 整套 系统 内 所 有 主机 的 iptables 都 停 用 ; 























5) Keepalived 产 生 的 VIP 就 是 我 们 整个 系统 对 外 的 IP， 如 果 最 外 端的 防火 墙 采 





Keepalived 是 一 款 优秀 的 HA 软件 ， 我 们 现在 将 其 多 应 于 生产 环境 下 的 LVS/HAproxy、Nginx 中 ， 一 般 都 采取 双 机 方案 以 保证 网 站 最 前 端 负载 均衡 器 的 高 可 用 | 


5.1.7 ”高 可 用 软件 Heartbeat 
Linux-HA 的 全 称 为 High-Availability Linux， 是 一 个 开源 项 目 。 这 个 开源 项 目的 




















的 是 路 由 模式 ， 那 我 们 就 映射 此 内 网 IP 为 公 网 IP。 












































(serviceability) 


接管 、 监 测 姑 


(RAS) 
集中 的 系统 


的 集群 解决 方案 。 其 中 Heartbeat 就 是 | 
肛 务 、 在 群集 中 的 节点 间 转 移 共 享 IP 地 址 的 所 有 者 等 。 








Linux-HA 项 目 中 的 
1999 征 


一 个 组 件 ， 也 是 目前 开源 HA 项 目 中 最 成 功 的 一 个 例 


标 是 : 通过 社区 开发 者 的 共同 努力 ， 提 供 一 个 增强 Linux 可 靠 性 (reliability) 、 可 
子 ， 它 提供 了 所 有 HA 软件 所 需要 


























性 (availability) 和 可 服务 性 
的 基本 功能 ， 比 如 心跳 检测 和 资源 




















站 http://www.linux-ha.org 上 下 载 到 Heartbeat 的 最 新 版 本 。 尽 管 Heartbeat 有 许多 优异 | 























前 制约 其 被 大 规模 部 署 应 用 的 原因 。 在 生产 环境 下 ，Heartbeat 可 以 与 DRBD 一 起 应 








F 
上 


F 到 现在 ，Heartbeat 在 行业 内 得 到 了 广泛 的 应 











， 也 发 行 很 多 的 版 本 ， 可 以 从 Linux-HA 的 官方 网 








59 特性 ， 但 它 配 置 起 来 非常 麻烦 ， 而 且 如 果 双 
于 线 上 的 高 可 用 文件 系统 ， 我 们 公司 的 许多 相关 项 


















































MySQL 高 可 





的 一 种 手段 ， 所 以 我 建议 大 家 掌握 它 的 技术 要 点 ， 也 可 将 其 

















己 的 项 








或 公司 。 








5.1.8 ”高 可 用 块 设备 DRBD 





DRBD (Distributed Replicated Block Device) 是 一 种 块 设备 ， 可 











于 高 可 












































送 到 网 络 中 的 另 一 台 主 机 上 ， 并 以 相同 的 形式 记录 在 一 个 文件 系统 中 。 本 : 
以 继续 使 用 。 在 高 可 用 (HA) 中 使 用 DRBD 功 能 ， 可 以 代替 一 个 共享 盘 阵 。 因 
DRBD 的 工作 原理 如 图 5-3 所 示 。 
SERVICE 
FILE SYSTEM 
BUFFER CACHE 
好 
DRBD 全 一 PAwDevce 
人 -eh TCP/IP 
DISK SCHED 地 
DISK DRIVER NIC DRIVER 
DISK NIC 


DRBD 支 持 3 种 不 同 的 复制 模式 ， 允 许 三 种 程度 的 复制 同步 。 


“ 协议 A: 异步 复制 协议 。 只 要 主 节 点 完成 本 地 写 操作 就 认为 写 操作 完成 ， 并 且 需 


据 被 认为 仍然 是 稳固 的 ， 然 而 ， 在 crash 发 生 的 时 间 点 上 很 多 最 新 的 更 新 操作 会 丢失 。 


为 数据 同时 存在 了 


(HA) 之 中 。 它 的 功能 类 似 于 一 个 网 络 RAID-1 (工作 原理 见 | 
也 ( 主 节点 ) 与 远程 








机 ( 备 节点 ) 的 数据 可 以 保证 实时 同步 。 





本 地 主机 和 远程 主机 上 ， 切 换 时 ， 远 程 主机 只 要 使 


几 之 间 的 心跳 线 出 了 问题 ， 就 很 容易 形成 “ 脑 裂 ”的 问题 ， 这 也 是 目 
目 已 经 稳定 运行 了 好 几 年 ， 并 且 MySQL 官 方 也 推荐 将 其 作为 实现 


























图 











6-3) 。 当 我 们 将 数据 写 入 本 地 文件 系统 时 ， 数 据 将 被 发 
当 本 地 系统 出 现 故障 时 ， 远 程 主机 上 还 保留 着 一 份 相同 的 数据 ， 可 
它 上 面 的 备份 数据 就 可 以 继续 服务 了 。 
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5-3 ”DRBD 工 作 原 理 图 








要 复 
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SS 


DISK 


由 的 数据 包 会 被 存放 到 本 地 TCP 发 送 缓存 中 。 当 发 生 fail-over 故 障 时 ， 数 据 可 能 会 丢失 ， 并 且 ， 在 standby 节 点 的 数 


: 协议 B: 内 存 同 步 ( 半 同步 ，semi-synchronous) 复制 协议 。 当 本 地 磁盘 的 写 已 经 完成 ， 并 且 复 制 数 据 包 已 经 到 达 对 应 从 节点 ， 此 时 主 节 点 才 认 为 磁盘 写 已 经 完成 。 通 常情 况 下 ， 发 生 fail-over 故 障 不 会 
导致 数据 丢失 (因为 后 备 系 统 内 存 中 已 经 获得 了 数据 更 新 ) 。 然 而 ， 如 果 所 有 节点 同时 出 现 电源 故障 ， 则 主 节点 数据 存储 会 发 生 不 可 逆 的 错误 结构 ， 主 节点 上 多 数 最 新 写 入 数据 可 能 会 丢失 。 


“ 协议 C: 同步 复制 协议 。 只 有 在 本 地 和 远程 磁盘 都 确定 写 入 已 完成 时 ， 主 节点 才 会 认为 写 入 完成 。 这 样 可 确保 发 生 单 点 故障 时 不 会 导致 任何 数据 丢失 。 如 果 发 生 数 据 丢 失 的 现象 ， 那 也 只 会 在 所 有 节点 


同时 存在 错误 存储 时 才 会 发 生 这 种 情况 。 








在 DRBD 设 置 中 ， 最 常用 的 复制 协议 是 协议 C。 选 择 哪 种 复制 协议 受 部 署 的 两 个 因 




















另外 ， 我 们 在 线 上 环境 中 
案 之 一 。 





要 是 








DRBD+Heartbeat+NFS 组 成 高 可 














的 文件 系统 ， 此 项 








素 影响 : 保护 要 求 和 延迟 。 为 了 保证 数据 的 一 致 性 和 可 靠 性 ， 建 议 选择 协议 C。 











上 线 的 几 





中 没有 发 生 过 丢失 数据 的 现象 。 

















另外 ，DRBD 已 被 MySQL 官 方 写 入 文档 手册 作为 推荐 的 高 可 用 方 











5.2 ”负载 均衡 关键 技术 


5.2.1 什么 是 Session 








Session 在 网 络 中 应 该 被 称 之 为 “会 话 ”， 借 助 它 可 提供 服务 器 端 与 客户 端 系统 之 间 必 要 的 交互 。 因 为 HTTP 协 议 本 身 是 无 状态 的 ， 所 以 经 常 需要 通过 Session 来 提供 服务 端 和 浏览 端的 保持 状态 的 解决 方 
案 。Session 是 由 应 用 服务 器 维持 的 一 个 服务 器 端的 存储 空间 ， 用 户 在 连接 服务 器 时 ， 会 由 服务 器 生成 一 个 唯一 的 SessionID， 该 Session1D 作 为 标识 符 来 存 取 服 务 器 端的 session 存储 空 间 。 





















































Session1D 这 一 数据 是 用 Cookie 保 存 到 客户 端的 ， 用 户 提交 页 面 时 ， 会 将 这 一 Session1D 提 交 到 服务 器 端 ， 以 此 存 取 Session 数 据 。 服 务 器 也 通过 URL 重 写 的 方式 来 传递 session1D 的 值 ， 因 此 它 不 是 完全 
依赖 于 Cookie 的 。 如 果 客 户 端 Cookie 禁 用 ， 则 服务 器 可 以 自动 通过 重 写 URL 的 方式 来 保存 Session 的 值 ， 并 且 这 个 过 程 对 程序 员 是 透明 的 。 




































































5.2 ”负载 均衡 关键 技术 


5.2.1 什么 是 session 








Session 在 网 络 中 应 该 被 称 之 为 “会 话 ”， 借 助 它 可 提供 服务 器 端 与 客户 端 系统 之 间 必 要 的 交互 。 因 为 HTTP 协 议 本 身 是 无 状态 的 ， 所 以 经 常 需要 通过 Session 来 提供 服务 端 和 浏览 端的 保持 状态 的 解决 方 
案 。Session 是 由 应 用 服务 器 维持 的 一 个 服务 器 端的 存储 空间 ， 用 户 在 连接 服务 器 时 ， 会 由 服务 器 生成 一 个 唯一 的 SessionID， 该 session1D 作 为 标识 符 来 存 取 服务 器 端的 session 存储 空间 。 






























































Session1D 这 一 数据 是 用 Cookie 保 存 到 客户 端的 ， 用 户 提交 页 面 时 ， 会 将 这 一 Session1D 提 交 到 服务 器 端 ， 以 此 存 取 Session 数 据 。 服 务 器 也 通过 URL 重 写 的 方式 来 传递 Session1D 的 值 ， 因 此 它 不 是 完全 
依赖 于 Cookie 的 。 如 果 客 户 端 Cookie 禁 用 ， 则 服务 器 可 以 自动 通过 重 写 URL 的 方式 来 保存 Session 的 值 ， 并 且 这 个 过 程 对 程序 员 是 透明 的 。 







































































5.2.2 ”什么 是 Session 共 享 











当 网 站 业务 规模 和 访问 量 逐 步 增 大 ， 原 本 由 单 台 服务 器 、 单 个 域名 组 成 的 迷你 网 站 架构 可 能 已 经 无 法 满足 发 展 需要 。 























此 时 ， 我 们 可 能 会 购买 更 多 的 服务 器 ， 并 且 以 频道 化 的 方式 启用 多 个 二 级 子 域名 ， 然 后 根据 业务 功能 将 网 站 分 别 部 署 在 独立 的 服务 器 上 ， 或 者 通过 负载 均衡 技术 (如 Haproxy、Nginx) 让 多 个 频道 共 
享 一 组 服务 器 。 




















如 果 我 们 把 网 站 程序 分 别 部 署 到 多 台 服 务 器 上 ， 并 且 独 立 为 几 个 二 级 域名 ， 由 于 Session 存 在 实现 原理 上 的 局 限 性 (PHP 中 Session 默 认 以 文件 的 形式 保存 在 本 地 服务 器 的 硬盘 上 ) ， 这 使 得 网 站 用 户 不 
得 不 经 常 在 几 个 频道 间 来 回 输入 用 户 名 和 密码 登录 ， 导 致 用 户 体验 大 打折 扣 。 另 外 ， 原 本 程序 可 以 直接 从 用 户 Session 变 量 中 读 取 的 资料 (如 : 昵称 、 积 分、 登入 时 间 等 ) ， 因 为 无 法 跨 服务 器 同步 更 新 
Session 变 量 ， 人 迫使 开发 人 员 必须 实时 读 写 数 据 库 ， 从 而 增加 了 数据 库 的 负担 。 于 是 ， 解 决 网 站 跨 服务 器 的 session 共享 问题 的 需求 变 得 越 来 越 迫切 ， 最 终 催生 了 多 种 解决 方案 ， 下 面 列举 4 种 较为 可 行 的 方案 
进行 对 比 和 探讨 。 





































































































1. 基 于 Cookie 的 Session 共 享 

















读者 可 能 对 这 个 方案 比较 陌生 ， 但 它 在 大 型 网 站 中 已 被 普遍 使 用 。 其 原理 是 将 全 站 用 户 的 Session 信 息 加 密 ， 序 列 化 后 以 Cookie 的 方式 统一 种 植 在 根 域名 下 (如 : .host.com) 。 当 浏览 器 访问 该 根 域名 
下 的 所 有 二 级 域名 站 点 时 ， 将 与 域名 相对 应 的 所 有 Cookie 内 容 的 特性 传递 给 它 ， 从 而 实现 用 户 的 Cookie 化 Session 在 多 服务 间 的 共享 访问 。 












































这 个 方案 的 优点 是 无 须 额外 的 服务 器 资源 ， 缺 点 是 由 于 受 HTTP 协 议 头 长 度 的 限制 ， 仪 能 存储 小 部 分 的 用 户 信息 ， 同 时 Cookie 化 的 Session 内 容 需 要 进行 安全 加 解密 (如 : 采用 DES、RSA 等 进行 明文 加 
解密 ; 再 由 MD5、SHA-1 等 算法 进行 防伪 认证 ) 。 另 外 ， 它 也 会 占用 一 定 的 带宽 资源 ， 因 为 浏览 器 会 在 请 求 当 前 域名 下 的 任何 资源 时 将 本 地 Cookie 附 加 在 HTTP 头 中 传递 到 服务 器 上 。 








2. 基 于 数据 库 的 Session 共 享 





























首选 的 当然 是 MySQl 数 据 库 ， 并 且 建 议 使 用 内 存 表 Heap， 以 提高 session 操作 的 读 写 效率 。 这 个 方案 的 实用 性 较 强 ， 已 得 到 大 家 的 普遍 使 用 ， 但 它 的 缺点 在 于 Session 的 并 发 读 写 能 力 取决 于 MySQl 数 
据 库 的 性 能 ， 同 时 需要 我 们 自己 实现 Session 淘 汰 逻辑 ， 以 便 定时 从 数据 表 中 更 新 、 删 除 Session 记 录 ， 当 并 发 过 高 时 容易 出 现 表 锁 ， 虽 然 我 们 可 以 选择 行 级 锁 的 表 引 警 ， 但 不 得 不 承认 使 用 数据 库存 储 
Session 还 是 有 些 大 材 小 用 了 。 




























































































3.Session 复 制 








熟悉 Tomcat 或 Weblogic 的 朋友 应 该 对 Session 复 制 也 非常 了 解 了 。 顾 名 思 义 ，Session 复 制 就 是 将 用 户 的 Session 复 制 到 Web 集 群 内 的 所 有 服务 器 ，Tomcat 或 Weblogic 自 身 都 带 了 这 种 处 理 机 制 。 但 
其 缺点 也 非常 明显 : 随 着 机 器 数量 的 增加 ， 网 络 负担 成 指数 级 上 升 ， 性 能 随 着 服务 器 数量 的 增加 而 急剧 下 降 ， 而 且 很 容易 引起 网 络 风暴 。 


























4. 基 于 Memcache/Redis 的 Session 共 享 





Memcache 是 一 款 基 于 Libevent 的 多 路 异步 /O 技 术 的 内 存 共享 系统 ， 简 单 的 Key+ Value 数据 存储 模式 使 其 代码 逻辑 小 巧 高 效 ， 因 此 在 并 发 处 理 能 力 上 占据 了 绝对 优势 。 











另外 值得 一 提 的 是 Memcache 的 内 存 hash 表 所 特有 的 Expires 数 据 过 期 淘汰 机 制 ， 正 好 和 Session 的 过 期 机 制 不 谋 而 合 ， 这 就 降低 了 删除 过 期 session 数据 的 代码 复杂 度 。 但 对 比 “基于 数据 库 的 存储 方 
案 ”， 仅 逻辑 这 块 就 给 数据 表 带 来 了 巨大 的 查询 压力 。 























Redis 作 为 NoSQL 的 后 起 之 秀 ， 经 常 被 拿 来 与 nemcached 做 对 比 。redis 作 为 一 种 缓存 ， 或 者 干脆 称 之 为 NoSQ| 数据库 ， 提 供 了 丰富 的 数据 类 型 (list、set 等 ) ， 可 以 将 大 量 数据 的 排序 从 单机 内 存 释 
放 到 redis 集 群 中 处 理 ， 并 可 以 用 于 实现 轻 量 级 消息 中 间 件 。 在 memcached 和 redis 的 性 能 比较 上 ，redis 在 小 于 100k 的 数据 读 写 上 速度 优 于 memcached。 在 我 们 的 系统 中 ，redis 已 经 取代 了 memcached 
来 存放 Session 数 据 。 









































5.2.3 ”什么 是 会 话 保持 


会 话 保 持 并 非 Session 共 享 。 





























在 大 多 数 的 电子 商务 应 用 系统 中 ， 或 者 需要 进行 用 户 身份 认证 的 在 线 系统 中 ， 一 个 客户 与 服务 器 经 常会 经 过 好 几 次 的 交互 过 程 才能 完成 一 笔 交易 或 一 个 请 求 。 由 于 这 几 次 交互 过 程 是 密切 相关 的 ， 服 务 












































器 在 进行 这 些 交 互 的 过 程 中 ， 要 完成 某 一 个 交互 步骤 往往 需要 了 解 上 一 次 交互 的 处 理 结果 ， 或 者 前 几 步 的 交互 结果 ， 这 就 要 求 所 有 相关 的 交互 过 程 都 由 一 台 服 务 器 完成 ， 而 不 能 被 负载 均衡 器 分 散 到 不 同 的 
服务 器 上 。 





而 这 一 系列 相关 的 交互 过 程 可 能 是 由 客户 到 服务 器 的 一 个 连接 的 多 次 会 话 完成 的 ， 也 可 能 是 在 客户 与 服务 器 之 间 的 多 个 不 同 连 接 里 的 多 次 会 话 完成 的 。 关 于 不 同 连 接 的 多 次 会 话 ， 最 典型 的 例子 就 是 基 
于 HTTP 的 访问 ， 一 个 客户 完成 一 笔 交易 可 能 需要 多 次 点 击 ， 而 一 个 新 的 点 击 产生 的 请 求 ， 可 能 会 重用 上 一 次 点 击 建 立 起 来 的 连接 ， 也 可 能 是 一 个 新 建 的 连接 。 






































会 话 保持 就 是 指 在 负载 均衡 器 上 有 这 么 一 种 机 制 ， 可 以 识别 客户 与 服务 器 之 间 交 互 过 程 的 关联 性 ， 在 做 负载 均衡 的 同时 ， 还 能 保证 一 系列 相关 联 的 访问 请 求 被 分 配 到 同一 台 服 务 器 上 。 


5.3 ”负载 均衡 器 的 会 话 保持 机 制 





























会 话 保持 机 制 的 目的 是 保证 在 一 定时 间 内 某 一 个 用 户 与 系统 会 话 只 交 给 同一 台 服 务 器 处 理 ， 这 一 点 在 满足 网 银 、 网 购 等 应 用 场景 的 需求 时 格外 重要 。 负 载 均衡 器 实现 会 话 保持 一 般 会 有 如 下 几 种 方案 : 


























1) 基于 源 I|P 地 址 的 持续 性 保持 。 主 要 用 于 四 层 负载 均衡 ， 这 种 方案 应 该 是 大 家 最 为 熟悉 的 ，LVS/HAProxy、Nginx 都 有 类 似 的 处 理 机 制 ， 如 Nginx 中 的 ip_hash 算 法 ，HAProxy 中 的 source 算 法 等 。 























2) 基于 Cookie 数 据 的 持续 性 保持 。 主 要 用 于 七 层 负载 均衡 ， 用 于 确保 同一 会 话 的 报 文 能 够 被 分 配 到 同一 台 服 务 器 中 。 其 中 ， 根 据 服务 器 的 应 答 报 文中 是 否 携带 含有 服务 器 信息 的 Set_ Cookie 字 段 ， 又 
可 以 分 为 cookie 插 入 保持 和 cookie 截 取保 持 。 

















3) 基于 HTTP 报 文 头 的 持续 性 保持 。 主 要 用 于 七 层 负载 均衡 ， 当 负载 均衡 器 接收 到 某 一 个 客户 端的 首次 请 求 时 ， 会 根据 HTTP 报 文 头 关键 字 建 立 持续 性 表 项 ， 记 录 为 该 客户 端 分 配 的 服务 器 情况 ， 在 会 话 
表 项 的 生存 期 内 ， 后 续 具有 相同 HTTP 报 文 头 信息 的 连接 都 将 发 往 该 服务 器 处 理 。 











5.3.1 “LVS 的 会 话 保持 机 制 









































LVS 是 利用 配置 文件 里 的 persistence (单位 为 秒 ) 设置 来 设 定 会 话 保持 时 间 的 ， 这 个 选项 对 于 电子 商务 网 站 来 说 尤其 重要 : 当 用 户 从 远程 用 账号 登录 网 站 时 ， 通 过 这 个 会 话 保持 功能 就 能 把 用 户 的 请 求 
转发 给 同一 个 应 用 服务 器 了 。 我 们 在 这 里 做 一 个 假设 ,假定 现在 有 一 个 LVS 环 境 ， 使 用 LVS/DR 转 发 模式 ， 真实 的 Web 服 务 器 有 2 个 ，LVS 负 和 载 均衡 器 不 启用 会 话 保持 功能 。 当 用 户 第 一 次 访问 的 时 候 ， 他 的 
访问 请 求 被 负载 均衡 器 转 给 某 个 真实 服务 器 ， 随 后 他 将 看 到 一 个 登录 页 面 ， 第 一 次 访问 完毕 。 接 着 他 在 登录 框 里 填写 用 户 名 和 密码 ， 然 后 提交 ， 这 时 候 ， 问 题 可 能 就 会 出 现 了 一 一 登录 不 成 功 。 因 为 没有 会 
话 保持 ， 负 载 均衡 器 可 能 会 把 第 2 次 的 请 求 转发 到 其 他 的 服务 器 上 ， 这 样 浏览 器 又 会 提醒 客户 需要 再 次 输入 用 户 名 及 密码 。 


























































































































我 们 可 以 做 一 个 简单 的 实验 来 验证 一 下 ， 实 验 的 |P 分 配 如 表 5-1 所 示 。 





表 5-1 LVS 会 话 实验 的 服务 器 IP 分 配 表 


LVS-Master 提供 负载 均衡 
LVS-DR-VIP 集群 VIP 地 址 
Webl 服务 器 提供 Web 服务 
Web2 服务 器 是 供 Web 服务 





系统 为 CentOS 6.8 x86_64， 内 核 版 本 为 2.6.32-696.1.1.el6.x86_ 64， 双 网 卡 ， 这 里 将 VIP 地 址 绑 定 在 eth1 网 卡 上 面 。 


























由 于 笔者 使 用 的 是 最 小 化 安装 ， 所 以 需要 先 安装 编译 工具 ， 另 外 为 了 不 影响 实验 结果 ， 建 议 关 闭 iptables 防 火 墙 和 SElinux。 笔 者 在 后 端的 两 台 Web 服 务 器 上 直接 安装 了 httpd 服 务 ， 并 分 别 设 定 了 它们 
不 同 的 首页 地 址 以 示 区 分 ， 安 装 基础 的 编译 工具 和 ipvsadm 软 件 需要 的 基础 软件 包 ， 命 令 如 下 所 示 : 
































yum -~y install gcc gcc-c++ kernel-devel libnl* libpopt* popt-static 


注 : ipvs 是 LVS 的 关键 ， 因 为 LVS 的 IP 负 载 平衡 技术 就 是 通过 IPVS 模 块 来 实现 的 ，IPVS 是 LVS 集 群 系统 的 核心 软件 ， 而 ipvs 具 体 是 由 ipvsadmin 实 现 的 。 我 们 首先 用 命令 查看 下 当前 内 核 是 否 支 持 ， 命 令 如 
下 所 示 : 





lsmod | grep ip vs 





结果 发 现 是 不 支持 的 。 





1) 首先 我 们 在 LVS-MASTER 机 器 上 安装 ipvadmin 软 件 ， 这 里 采用 源码 安装 的 方式 ， 命 令 如 下 所 示 : 














mkdir -p /usr/local/src 

cd /usr/local/src 

wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz 
tar xvf ipvsadm-1.26.tar.gz 

cd ipvsadm-1.26 

ln -s /usr/src/kernels/2.6.32-696.1.1.e16.x86 64/ /usr/src/linux 

make 

make install 





安装 成 功 后 输入 ipvsadm 命 令 验 证 ， 会 有 如 下 显示 : 


IP Virtual Server version 1.2.1 (size=4096) 
Prot LocalAddress:Port Scheduler Flags 
-> RemoteAddress:Port Forward Weight ActiveConn InActConn 





我 们 可 以 查看 是 否 有 ip_vs 模 块 ， 输 入 如 下 命令 验证 : 





lsmod | grep ip vs 








结果 如 下 所 示 : 

ip vs 115643 0 
liberv32c 1246 1 ip vs 
ipv6 321422 16 


ip vs,ip6t REJECT,nf conntrack ipv6,nf defrag ipv6 





2) 编写 并 运行 initial.sh 脚 本 ， 绑 定 VIP 地 址 到 LVS-MASTER 上 ， 设 定 LVS 工 作 模 式 等 ， 脚 本 内 容 如 下 所 示 : 





#!/bin/bash 

VIP=10.0.0.18 

RIP1=10.0.0.13 
RIP2=10.0.0.14 

. /etc/rc.d/init.d/functions 


logger $0 called with $1 

case "$1" in 

start) 

echo " Start LVS of DirectorServer" 
# 这 里 将 YIP 地 址 绑 定 在 eth1 网 卡 上 面 
/sbin/ifconfig eth1:0 SVIP broadcast SVIP netmask 255.255.255.255 up 
/sbin/route agdd -host $VIP dev eth0:0 
echo "1" >/proc/sys/net/ipv4/ip_ forward 
#Clear ipvsadm table 
/sbin/ipvsadm -C 
#Set LVS rules 
/sbin/ipvsadm -A -t $VIP:80 -s wrr -p 120 
# 如 果 没 有 -P 参 数 的 话 ， 我 们 等 会 访问 VIP 地 址 时 会 发 现在 后 端的 两 台 Web 上 轮 询 切换 
/sbin/ipvsadm -a -t SVIP:80 -r SRIP1:80 -g 
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g 
#Run LVS 
/sbin/ipvsadm 

stop) 
echo "close LVS Directorserver" 
echo "0" >/proc/sys/net/ipv4/ip forward 
/sbin/ipvsadm -C 
/sbin/ifconfig eth0:0 down 

2 

echo "Usage: $0 {start|stop}" 
exit 1 





给 脚本 initial.sh 执 行 权限 ， 并 执行 它 ， 命 令 如 下 所 示 : 





./initial.sh start 


脚本 结果 如 下 所 示 : 





Start LVS of DirectorServer 
IP Virtual Server version 1.2.1 (size=4096) 
Prot LocalAddress:Port Scheduler Flags 


-> RemoteAddress:Port Forward Weight ActiveConn InActConn 
TCP 10.0.0.18:http wrr persistent 120 

-> 10.0.0.13:http Route 1 0 0 

-> 10.0.0.14:http Route 1 0 0 


ActiveConn 表 示 活 动 连接 数 ， 也 就 是 TCP 连 接 状 态 的 ESTABLISHED。InActConn 表 示 其 他 非 活动 连接 数 ， 即 所 有 的 其 他 状态 和 TCP 连 接 数 。 








3) 在 后 端的 两 台 Web 服 务 器 上 执行 realserver.sh 脚 本 ， 此 脚本 的 作用 为 : 绑 定 VIP 地 址 并 设 定 ARP 抑 制 ， 脚 本 realserver.sh 的 代码 如 下 所 示 : 














#!/bin/bash 
SNS_VIP=10.0.0.18 
. /etc/rc.d/init.d/functions 


case "$1" in 

start) 
ifconfig lo:0 $SNS VIP netmask 255.255.255.255 broadcast $SNS VIP 
/sbin/route add -host $SNS VIP dev 10:0 
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/lo/arp announce 
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore 
echo "2" >/proc/sys/net/ipv4/conf/all/arp announce 
sysctl -p >/dev/null 2>&1 加 
echo "RealServer Start OK" 

stop) 
ifconfig 10:0 down 
route del $IVS VIP >/dev/null 2>&1 
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore 
echo ' >/proc/sys/net/ipv4/conf/1lo/arp_announce 
echo ' >/proc/sys/net/ipv4/conf/all/arp ignore 
echo "0" >/proc/sys/net/ipv4/conf/all/arp _ announce 
echo "RealServer Stoped" 





* 
) 
echo "Usage: $0 {start|stop}" 
exit 1 
esac 
exit 0 





分 别 在 两 台 Web 机 器 上 执行 脚本 ， 命 令 如 下 所 示 : 





./realserver.sh start 














实验 进行 到 这 里 ， 大 家 可 能 会 对 LVs 的 持久 连接 技术 有 些 疑 问 ， 其 实 LVS 的 持久 性 连接 有 两 方面 : 


1.LVS 的 Hash 表 的 保存 时 间 























把 同一 个 Client 的 请 求 信息 记录 到 LVS 的 HASH 表 里 ， 保 存 时 间 使 用 persistence timeout (Keepalived 配 置 文件 ) 控制 ， 单 位 为 秒 。persistence_granularity 参 数 (ipvsadm 里 的 -M 参 数 ) 是 配合 
persistence timeout 的 ， 在 某 些 情况 特别 有 用 ， 它 的 值 是 子 网 掩 码 ， 表 示 持 久 连 接 的 粒度 ， 默 认 是 255.255.255.255 也 就 是 单独 的 client ip， 如 果 改 成 255.255.255.0 就 是 一 个 网 段 的 都 会 被 分 配 到 同一 台 后 
端 Web 机 器 。 




















2.LVS 连 接 创建 以 后 的 空闲 时 间 


一 个 连接 创建 后 空闲 时 的 超时 时 间 ， 这 个 时 间 有 3 种 : 


“ITCP 的 空闲 超时 时 间 。 


. LVS 收 到 客户 端 tcpfin 的 超时 时 间 。 


. UDP 的 超时 时 间 。 











可 以 用 如 下 命令 查看 这 些 值 : 








ipvsadm -L --timeout 





命令 结果 如 下 所 示 : 





Timeout (tcp tcpfin udp): 900 120 300 











我 们 用 ipvsadm 进 行 验证 ， 如 下 所 示 : 




















ipvsadm -Len 





结果 显示 : 





IPVS connection entries 

pro expire state source 

TCP 01:51 FIN WAIT 10.0.0.7:54914 
TCP 00:35 FIN WAIT 10.0.0.7:54866 
TCP 01:51 NONE 10.0.0.7:0 
TCP 01:52 FIN WAIT 10.0.0.7:54915 


Virtual 

10.0.0.18:80 
10.0.0.18:80 
10.0.0.18:80 
10.0.0.18:80 


destination 

10.0.0.14:80 
10.0.0.14:80 
10.0.0.14:80 
10.0.0.14:80 





当 一 个 任意 客户 端 访 问 LVS 的 VIP 地 址 时 ，ipvs 会 记录 一 条 状态 为 NONE 的 信息 ，expire 初 始 值 是 persistence timeout 的 值 ， 然 后 根据 时 钟 主键 变 小 ， 在 以 下 记录 存在 期 间 ， 同 一 客户 端 连 接 上 来 的 都 会 


被 分 配 到 同一 个 后 端 。 


FIN_WAIT 的 值 就 是 tcpfin 的 超时 时 间 ， 当 NONE 的 值 为 0 时 ， 如 果 FIN_WAIT 还 存在 ， 那 么 NONE 的 值 会 有 

















新 变 成 60 秒 ， 再 持续 减少 ， 直 到 FIN_WAIT 消 失 以 后 ，NONE 才 会 消失 ， 只 要 NONE 存 在 ， 同 

















一 客户 端的 访问 都 会 分 配 到 统一 的 后 端 真实 服务 器 。 这 个 说 法 很 好 验证 ， 大 家 只 要 不 停 地 执行 ipvsadm-Lcn 命 令 ， 观 察 其 时 间 变 化 即 可 。 


参考 资料 : http://www.linuxvirtualserver.org/docsV/persistence.html，http://xstarcd.github.io/wiki/sysadmirVlvs_persistence.html。 


5.3.2 ”Nginx 负 载 均衡 器 中 的 ip_hash 算 法 














Nginx 作 为 负载 均衡 机 器 作用 时 ， 其 提供 upstream 模 块 的 ip_hash 算 法 机 制 (操持 会 话 ) 能 够 将 某 个 IP 的 请 求 定向 到 同一 台 后 端 服 务 器 上 ， 这 样 一 来 ， 这 个 IP 下 的 某 个 客户 端 和 某 个 后 端 服务 器 就 能 建 











立 起 稳固 连接 了 。 


ip_hash 算 法 的 相关 源码 内 容 如 下 所 示 : 





for 他 3 


hash = (hash * 113 + iphp->addr[i]) % 6271; 


hash % iphp->rrp.peers->number; 
p/ (8 * sizeof(uintptr t)); 


} 
BP 
n 
m 
到 


f (!(iphp->rrp.tried[n] & m) { 


(uintptr t) 1 << p% (8 * sizeof (uintptr t)); 


ngx 10g debug2 (NGX LOG DEBUG HTTP, pc->log, 0, 


"get ip hash peer, hash: %ui %04XA", p, m); 


Peer = &iphp->rrp.peers->peer[p]; 


/* ngx_ lock mutex (iphp->rrp.peers->mutex); */ 


if (!peer->down) { 


if (peer->max fails 一 0 || peer->fails < peer->max fails) { 


break; 


} 


if (now - peer->accessed > peer->fail timeout) 


peer->fails = 0; 
break; 
} 
} 
iphp->rrp.tried[n] |= m; 


/* ngx unlock mutex (iphp->rrp.peers->mutex); */ 


Pe->tries-"} 


} 
if (++iphp->tries >= 20) { 


return iphp->get rr peer(pc, &iphp->rrp); 


} 





我 们 这 里 可 以 简单 分 析 上 面 的 源码 内 容 ， 步 又 如 下 所 示 : 


第 一 步 ， 根 据 客户 端 |P 计 算得 到 一 个 数值 。 





hash0 是 Server 端 的 一 个 固定 值 ，addr[0][1][2] 即 IP 地 址 的 前 三 段 ， 大 家 可 以 通过 下 面 的 计算 公式 发 现 ， 其 实 只 要 IP 固 定 ，hash3 的 值 就 会 国定 下 来 的 ， 如 下 所 示 : 





hashl = (hash0 * 113 + addr[0]) % 6271; 
hash2 = (hashl * 113 + addr[1]) % 6271; 
hash3 = (hash2 * 113 + addr[2]) % 6271; 





第 二 步 ， 根 据 计 算 所 得 数值 ， 找 到 对 应 的 后 端 。 





w= hash3 % total weight; 
while (w >= peer->weight) { 


W -= peer->weight; 
Peer = peer—>nexty 
P++7 


} 











total_weight 为 所 有 后 端 权重 之 和 。 遍 历 后 端 链 表 时 ， 依 次 减 去 每 个 后 端的 权重 











EE， 直 到 w 小 于 某 个 后 端的 权重 。 








选 定 的 后 端 在 链表 中 的 序号 为 p。 因 为 total_weight 和 每 个 后 端的 权重 都 是 固定 的 ， 所 以 如 果 hash3 值 相同 ， 则 找到 的 后 端 相 同 。 














ip_hash 算 法 在 Nginx.con 中 的 具体 配置 如 下 所 示 : 





upstream bakend { 
ip_hash; 

server 192.168.0.14:88; 
server 192.168.0.15:80; 
} 


proxy_pass bakend; 


























在 Nginx 的 各 种 算法 中 ，ip_hash 是 应 用 得 最 多 的 。 我 们 可 以 利用 其 保持 会 话 的 特性 来 提高 缓存 命中 (在 CDN 体 系 中 这 是 一 个 很 重要 的 技术 指标 ) 。 如 图 5-4 所 示 ， 是 ip_hash 在 某 小 型 安全 CDN 项 目 中 
的 应 用 实例 ，Cache 主 要 由 两 层 缓存 层 组 成 ， 包 括 边缘 CDN 及 父 层 CDN 缓 存 机 器 ， 这 部 分 缓存 利用 的 就 是 Nginx 本 身 的 Cache 机 制 。 


父 层 缓存 机 器 















































普通 访客 
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边缘 缓存 机 器 





图 5-4 两 层 Cache 缓 存 系统 架构 图 示 











边缘 CDN 机 器 的 nginx.conf 相 关 配 置 文件 如 下 所 示 : 





upstream parent { 
ip_hash; 
server 119.90.1.2 max fails=3 fail timeout=20s; 
server 119.90.1.3 max fails=3 fail timeout=20s; 
server 61.163.1.2 max fails=3 fail timeout=20s; 
| 


server 61.163.1. max_ fails=3 fail timeout=20s; 






































大 家 可 以 发 现 边缘 CDN 机 器 利用 了 ip_hash 算 法 来 保持 会 话 ， 每 一 台 边缘 的 机 器 都 会 固定 回 源 到 父 层 CDN 机 器 上 来 获取 需要 的 Cache 内 容 ， 这 里 如 果 不 采 用 ip_hash 算 法 而 采用 默认 的 round-robin 算 法 
的 话 ， 则 在 客户 端 在 边缘 CDN 机 器 上 miss 的 情况 下 ， 边 缘 机 器 向 父 层 回 源 获取 Cache 内 容 会 是 随机 的 ， 理 论 上 每 一 台 父 层 机 器 都 需要 有 边缘 机 器 需要 的 Cache 内 容 ， 如 果 没 有 ， 则 父 层 Cache 会 进一步 向 源 
站 回 源 ( 即 缓存 命中 率 低 ) ， 造 成 源 站 回 源 压力 过 大 ， 这 样 的 架构 设计 很 有 问题 。 






































此 外 ， 在 没有 采用 Session 共 享 的 memcached/redis 工 作 场 景 中 (比如 电 商 平台 ) ， 我 们 可 以 通过 采用 ip_hash 算 法 ， 让 客户 端 始 终 只 访问 固定 的 某 台 后 端 Web 机 器 ， 解 决 Session 共 享 的 问题 。 














参考 文档 : http://blog.csdn.net/zhangskd/article/details/50208527。 


5.3.3 ”HAProxy 负 载 均 衡器 的 source 算 法 


HAProxy 也 有 和 Nginx 的 ip_hash 算 法 类 似 的 算法 机 制 ， 即 source 算 法 ， 它 也 可 以 实现 会 话 保持 功能 。 我 们 可 以 通过 配置 一 个 简单 的 1+ 2 〈 即 前 端 一 个 HAproxy， 后 端 是 两 台 Web 服 务 器 ) Web 架 构 进 
行 验证 ， 此 处 的 IP 跟 前 面 LVs 中 的 一 样 ， 只 不 过 这 里 没有 VIP 的 概念 了 ， 详 细 过 程 如 下 : 





1) 安装 HAProxy， 提 前 配置 好 epel 外 部 YUM 源 (这 步 略 过 ) 步骤 。 首 先 查看 当前 yum 源 是 否 提供 了 haproxy 的 rpm 包 ， 命 令 如 下 : 





yum list | grep haproxy 





结果 如 下 所 示 : 





haproxy.x86_64 


L510=1816 3 updates 





然后 通过 yum 命 令 安装 haproxy， 命 令 如 下 所 示 : 





yum install haproxy -y 

















， 记 得 不 要 F 








它 默 认 的 轮 询 方式 (roundrobin) ， 而 是 采 

















source。 配 置 文件 /etc/haproxy/haproxy.cfg 的 内 容 如 下 所 示 : 





2) 修改 HAProxy 默 认 配 置 文 件 

global 
log 127.0s0.1 ocal3 
chroot /var/lib/haproxy 
pidfile /var/run/haproxy.pid 
maxconn 4000 
user haproxy 
group haproxy 
daemon 


stats socket /var/lib/haproxy/stats 


defaults 
mode 
log 
option 
option 


option http-server-close 


option forwardfor 


http 

global 
httplog 
dontlognull 


except 127.0.0.0/8 


option redispatch 
retries 3 
timeout http-request 10s 
timeout queue 1m 
timeout connect 10s 
timeout client 1m 
timeout server 1m 
timeout http-keep-alive 10s 
timeout check 10s 
maxconn 3000 
listen stats # 这 里 定义 的 是 haproxy 监 控 
mode http # 模 式 httP 
bind 0.0.0.0:1080 # 绪 定 的 监控 ip 与 端口 
stats enable # 启 用 监控 
stats hide-version # 隐 藏 haproxy 版 本 
stats uri /web_status # 定 义 的 uri 
stats realm Haproxy\ Statistics # 定 义 显示 文字 
stats auth admin:admin # 认 证 


frontend http 
bind *:80 
mode http 
1og global 
option logasap 
option dontlognull 
Capture request header Host len 20 
Capture request header Referer len 20 
default backend web 


backend web 
balance source 
server webl 192.168.1.205:80 check maxconn 2000 
server web2 192.168.1.206:80 check maxconn 2000 














新 版 的 HAProxy 支 持 以 服务 reload 的 模式 启动 ， 这 样 更 改 配置 文件 以 后 ， 就 可 以 用 如 下 E 载 HAProxy 服 务 : 


人 





好 





service haproxy reload 





HAProxy 的 配置 中 包含 五 个 组 件 ， 如 下 所 示 (当然 这 些 组 件 不 是 必 选 的 ， 可 以 根据 需要 选择 配置 ) : 

Global: 参数 是 进程 级 的 ， 通 常 和 操作 系统 相关 。 这 些 参数 一 般 只 设置 一 次 ， 如 果 配 置 无 误 ， 就 不 需要 再 次 配置 了 。 
* Defaults: 配置 默认 参数 ， 这 些 参 数 可 以 配置 到 frontend、backend、1listen 组 件 中 。 

“ Frontend: 接收 请 求 的 前 端 虚拟 节点 ，Frontend 可 以 根据 规则 直接 指定 具体 使 用 后 端的 backend (可 动态 选择 ) 。 

“ Backend: 后 端 服务 集群 的 配置 ， 是 真实 的 服务 器 ， 一 个 Backend 对 应 一 个 或 多 个 实体 服务 器 。 

“Listen: Frontend 和 Backend 的 组 合体 。 

HAProxy 的 详细 配置 文件 说 明 参 数 可 参考 附录 B， 请 注意 版 本 之 前 的 差异 性 变化 。 


3) 新 版 HAProxy 支 持 reload 命 令 ， 我 们 先 在 启动 之 前 检查 下 配置 文件 有 无 语法 方面 的 问题 ， 命 令 如 下 所 示 : 





haproxy -f /etc/haproxy/haproxy.conf -c 





结果 如 下 所 示 : 





Configuration file is valid 





然后 我 们 再 启动 HAProxy， 命 令 如 下 所 示 : 





service haproxy start 





HAProxy 自 带 强大 的 监控 功能 ， 输 入 以 下 网 址 : 





http://192.168.1.207:1080/web status/ 后 ， 输 入 相对 应 的 账号 和 密码 就 可 以 看 到 监控 页 面 ， 监 控 页 面 如 图 





5-5 所 示 。 


AProxy 


tatistics Report for pid 13510 
> General process information 


pid = 13510 (process #1, nbproc = 1) 

uptime = 0d 0h00m515 

System limits: memmax = unlimited. ulimit-n = 8034 
maxsock = 8034; maxconn = 4000. maxpipes =0 
current conns = 3; current pipes = 0/0; conn rate = 3/sec 
Running tasks: 1/10; idle = 100 % 


active UP backup UP 

actve UP, going down backup UP, going down 

actve DOWN, going up 国 backup DOWN, going up 

active of backup DOWN ||notchecked 

active of backup DOWN for maintenance (MAINT) 

actve of backup SOFT STOPPED for maintenance 
Note: "NOLBTDRAIN" = UP with load-balancing disabled 


图 5-5 HAProxy 的 监控 页 面 
































4) HAProxy 的 日 志 配 置 策略 ，HAProxy 在 默认 情况 下 ， 为 了 节省 读 写 MO 所 消耗 的 性 能 ， 没 有 自动 配置 日 志 输 出 功能 ， 但 有 时 为 了 方便 维护 和 调试 线 上 的 生产 环境 ， 是 需要 有 日 志 输出 的 ， 所 以 我 们 可 
以 根据 需求 来 配置 HAProxy 的 日 志 配 置 策略 。 有 具体 步骤 如 下 : 





(a) 设置 HAProxy 的 默认 配置 文件 中 跟 日 志 相关 的 选项 ， 如 下 所 示 : 

















global 
log 12750.0.1 local3 
#1ocal3 相 当 于 info 级 别 的 日 志 
chroot /var/lib/haproxy 
pidfile /var/run/haproxy .pid 
maxconn 4000 
user haproxy 
group haproxy 
daemon 


stats socket /var/lib/haproxy/stats 





(b) 编辑 系统 日 志 配 置 /etc/rsyslog.conf， 此 文件 会 默认 读 取 /etc/rsyslog.d/*.conf 目 录 下 的 配置 文件 ， 所 以 我 们 可 以 将 HAProxy 的 相关 配置 放 在 其 下 ， 这 里 取 名 为 haproxy.conf， 文 件 内 容 如 下 所 





$ModLoad imudp 
$UDPServerRun 514 
local3.* /var/log/haproxy.10g 





这 里 也 说 明 下 上 面 的 配置 内 容 文件 : 





$ModLoad imudp 





imudp 是 模块 名 ,支持 UDP 协 议 。 





$UDPServerRun 514 





人 允许 514 端 口 接收 使 用 UDP 和 TCP 协 议 转 发 过 来 的 日 志 ， 而 rsyslog 在 默认 情况 下 ， 正 是 在 514 端 口 监听 UDP。 


local3.*/var/log/haproxy.log 





local3 相 当 于 info 级 别 的 日 志 ，/var/log/haproxy.log 后 面 跟 的 是 详细 路 径 名 。 


(c) 最 后 是 修改 /etc/sysconfig/rsyslog 文 件 ， 修 改 内 容 如 下 所 示 : 





# Options for rsyslogd 
# Syslogd options are deprecated since rsyslog v3. 


# IE you want to use them, Switch to compatibility mode 2 by "-c 2" 


# See rsyslogd(8) for more details 
SYSLOGD OPTIONS="-c 2 -r -m 0" 





各 参数 作用 : 

“ -Cc; 指定 运行 兼容 模式 。 

“ -f: 接收 远程 日 志 。 

“ <: 在 接收 客户 端 消息 时 ， 禁 用 DNS 查找 。 需 和 -fr 参数 配合 使 用 。 
“ -m: 标记 时 间 鹤 。 单 位 是 分 钟 ， 值 为 0 时 表示 禁用 该 功能 。 


(d) HAProxy 日 志 内 容 如 下 所 示 : 





Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 


Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 


11/Jan/2016:06:49:58.136] http 
11/Jan/2016:06:49:58.136] http 


11/Jan/2016:06:50:00.057] http 


[ 
[ 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 [11/Jan/2016:06:50:00.057] http 
[ 
} 


Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 


11/Jan/2016:06:50:00.057] http 


web/webl 1922/0/0/0/+1922 
web/webl 1922/0/0/0/+1922 
web/webl 31/0/0/0/+31 304 
web/webl 31/0/0/0/+31 304 
web/webl 31/0/0/0/+31 304 





403 +177 = -= = 一- 3/3/1/1/0 
403 +177 ~ = =—== 3/3/1/1/0 
0 = = a WI AD 
30 一 一 =- BILD DAXD 
FI sm sn BEA B/D 


0/0 {192.168.1.207|} "GET 
0/0 {192.168.1.207|} "GET 
{192.168.1.207|http://192 
{192.168.1.207|http://192 
{192.168.1.207|http://192 


天 
/ 
sl 
sl€ 
< 
















































































Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49629 [11/Jan/2016:06:50:00.057] http web/webl 31/0/0/0/+31 304 +130 - - ---- 3/3/1/1/0 0/0 {192.168.1.207|http://192.1¢€ 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:49:57.738] http web/webl 2355/0/0/0/+2355 304 +130 - 3/3/1/1/0 0/0 {192.168.1.207|http://1¢ 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:49:5 http web/webl 2355/0/0/0/+2355 304 +130 - 3/3/1/1/0 0/0 {192.168,.1.207|http://1¢ 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016: http web/webl 2355/0/0/0/+2355 304 +130 - - 3/3/1/1/0 0/0 {192.168.1.207|http://1¢ 
Jan 11 06:50:00 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016: http web/webl 2355/0/0/0/+2355 304 +130 - - ---- 3/3/1/1/0 0/0 {192.168.1.207|http://1¢ 
Jan 11 06:50:10 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:50:00.092] http web/webl 9959/0/0/0/+9959 403 +177 - - ---- 2/2/1/1/0 0/0 {192.168.1.207|} "GET / 
Jan 11 06:50:10 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:50:00.092] http web/webl 9959/0/0/0/+9959 403 +177 - - ---- 2/2/1/1/0 0/0 {192.168.1.207|} "GET / 
Jan 11 06:50:10 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:50:00.092] http web/webl 9959/0/0/0/+9959 403 +177 - - ---- 2/2/1/1/0 0/0 {192.168.1.207|} "GET / 
Jan 11 06:50:10 localhost haproxy[13637]: 192.168.1.222:49640 [11/Jan/2016:06:50:00.092] http web/webl 9959/0/0/0/+9959 403 +177 - - ---- 2/2/1/1/0 0/0 {192.168.1.207|} "GET / 
HAProxy 采 用 了 source 算 法 以 后 ,我 们 会 发 现 无 论 怎么 刷新 ， 通 过 前 面 的 HAProxy LB 机 器 都 始终 只 能 访问 到 后 端的 Web1 机 器 上 面 。 在 没有 Session 共 享用 途 的 memcached/redis 机 器 场景 里 ,我 们 可 
以 通过 采用 此 source 算 法 ， 让 客户 始终 只 访问 固定 的 后 端 Web 机 器 ， 解 决 session 共 享 的 问题 。 


在 项 目 实施 中 ， 我 会 根 拉 


法 。 





5.4 ”服务 器 健康 检测 


负载 均衡 器 现在 都 使 
主要 的 技术 有 以 下 三 种 : 


1) ICMP: 负载 均衡 器 向 


2) TCP: 


3) HTTP: 


负载 均衡 器 应 


负载 均衡 器 应 
































这 里 以 Nginx 进 行 举例 说 明 ， 如 下 所 示 。 


Upstream 模 块 是 Ng 
服务 器 得 到 

















户 的 请 求 内 容 。 


inx 负 载 均衡 的 3 





下 面 为 一 组 服务 器 负载 均衡 的 集合 : 





upstream php Pool { 


居 客 户 的 需求 ， 将 HAProxy 
上 9:00 到 下 午 5:00 之 间 会 有 用 户 访问 ， 鉴 于 HAProxy 的 稳定 性 、 接 近 硬件 设备 的 网 

















要 模块 ， 它 提供 了 简 
在 转发 给 后 端 时 ， 默 认 是 轮 询 。 





于 一 些 时 效 性 强 








后 端的 服务 器 发 送 ICMP ECHO 包 (就 是 我 们 俗称 的 “ping” 

















server 192.168.1.7:80 max fails=2 fail timeout=5s; 
SerVer 192.168.1.8:80 max fails=2 fail timeout=5s; 


server 192.168.1.9:80 max fails=2 fail timeout=5s; 


} 


upstream 模 块 相关 指令 | 


* max_fails: 


“ fail_timeout: nginx 在 fail_timeout 设 定 的 时 间 内 


' down: 把 后 端 标记 


定义 可 以 发 生 错 误 的 最 


解释 : 


大 次 数 。 


为 离线 ， 仅 限于 ip_hash。 






与 后 端 服务 器 通信 失败 的 次 数 超过 max_fails 设 定 的 次 数 ， 则 认为 这 个 服务 器 不 再 起 作用 。 在 接 下 来 的 fail_timeout 时 间 内 ，Nginx 不 再 将 请 求 分 发 给 失效 的 机 


“ backup: 标记 后 端 为 备份 服务 器 ， 若 后 端 服务 器 全 部 无 效 时 才 启 用 。 


Nginx 的 健康 检查 主要 体现 在 对 后 端 服务 提供 健康 检查 ， 


:max_fails: 


* fail_timeout: Nginx. 


SetVeto 


健康 检查 机 制 : 


定义 可 以 发 生 错误 的 最 




















大 次 数 。 


在 fail_timeout 





了 非常 多 的 服务 器 健康 检测 技术 ， 主 要 通过 发 送 不 同类 型 的 协议 包 并 通过 检查 


a 的 办 法 来 实现 在 轮 询 和 客户 


的 小 型 网 站 上 (比如 金融 证 券 类 的 新 闻 资 讯 网 站 ) ， 做 成 基于 


功能 被 集成 在 upstream 模 块 中 ， 共 有 如 下 两 个 指令 





后 端的 某 个 端口 发 起 TCP 连 接 请 求 ， 如 果 成 功 完成 三 次 握手 ， 则 证 明 服务 器 TCP 协 议 处 理 正常 。 


后 端的 服务 器 发 送 HTTP 请 求 ， 如 果 收 获 到 的 HTTP 应 答 内 容 是 正确 的 ， 则 证 明 服 务 器 HTTP 协 议 处 理 正常 。 


能 否 接收 到 正确 的 应 答 来 判断 后 端的 服务 器 是 否 存活 ， 如 果 


) ， 如 果 能 正解 收 到 ICMP REPLY， 则 证 明 服务 器 {CMP 协议 处 理 正常 ， 中 





F 单 机 HAProxy (后 面 接 两 台 Web 机 器 ) 的 网 站 ， 因 为 这 些 网 站 只 在 早 














服务 器 是 活着 的 。 


端 |P 之 间 的 后 端 服务 器 负载 均衡 ， 并 可 以 对 服务 器 进行 健康 检查 。upstream 并 不 处 理 请 求 ， 而 是 通过 请 


络 吞 吐 量 ， 以 及 其 拥有 的 强大 监控 功能 ， 完 全 可 以 胜任 这 项 工作 。 如 果 大 家 也 有 这 种 需求 ， 不 妨 考 虑 一 下 这 种 1+ 2 型 的 做 


后 端的 服务 器 出 现 故障 就 会 自动 剔除 。 








请 求 后 端 


股 定 的 时 间 内 与 后 端 服务 器 通信 失败 的 次 数 超过 max_fails 设 定 的 次 数 ， 则 认为 这 个 服务 器 不 再 起 作用 。 在 接 下 来 的 fail timeout 时 间 内 ，Nsginx 不 再 将 请 求 分 发 给 失效 的 


Nginx 在 检测 到 后 端 服务 器 故障 后 ，Nginx 依 然 会 把 请 求 转 向 该 服务 器 ， 当 Nginx 发 现 timeout 或 者 refused 后 ， 则 会 把 该 请 求 分 发 到 upstream 的 其 他 节点 ， 直 到 获得 正常 数据 后 ，Nginx 才 会 把 数据 返 











回 给 
就 失败 了 。 








5.5 “Linux 集 群 的 项 目 案例 分 享 


下 面 笔者 将 跟 大 家 分 享 几 个 实际 工作 中 的 Linux 集 群 的 项 目 案例 ， 





5] 





如 图 5-6 所 示 ， 这 是 笔者 之 前 做 的 一 个 名 为 一 拍 网 的 小 型 拍卖 型 电 商 网 站 ， 上 线 及 运营 之 后 的 很 长 一 段 时 间 ， 注 册 人 数 基 本 只 有 5000 左 右 ， 每 























的 转发 明显 有 些 大 材 小 











了 


用 LVS+Keepalived 建 高 可 用 集群 


供 大 家 学 习 和 参考 。 


户 ， 这 也 体现 了 Nginx 的 异步 传输 。 这 一 点 跟 LVS/HAProxy 区 别 很 大 ， 在 LVS/HAProxy 号 








里， 每 个 请 求 都 只 有 一 次 机 会 
































的 PV 量 




















， 假 如 用 户 发 起 一 个 请 求 ， 而 该 请 求 分 到 的 后 端 服务 器 刚好 挂 掉 ， 那 么 这 个 请 求 


不 多 为 几 十 万 左右 ， 所 以 LVS 在 这 里 只 做 流量 





一 拍 网 网 站 系统 架构 


www.1paituan.com 


LVS-DR-master 着 
IP:203.93.236.145 医 


< 
















:203.93.236.148 = cacai+nagiso+ftp 
2 
Ne yp 多 
firewall 









LVS-DR-backup = 
IP:203.93.236.141 


nginx+tomcat 2 siave 


LVS+Keepalived Jp.203.93.236.147 








5-6 一 拍 网 网 站 架构 设计 拓扑 

















目前 ， 在 笔者 的 公司 中 ，LVSs 主 要 用 于 CND 业 务 平台 。LVS/VDR 主 要 应 用 于 各 1DC 机 房 分 发 CDN 的 流量 ， 采 用 的 是 Keepalived 双 机 ， 主 要 用 途 如 下 : 





“ 起 流量 分 流 的 作用 ， 前 端 有 GLB 全 局 负载 均衡 ， 会 将 流量 分 摊 到 后 端 各 IDC 机 房 的 几 百 个 CDN 节 点 (LVS+Keepalived/VIP 机 器 ) 上 面 。 
“ 在 遇 到 DDos 攻 击 的 时 候 ， 起 流量 切 量 的 作用 。 
: 升级 后 端的 应 用 服务 器 的 应 用 软件 版 本 ， 主 要 用 于 切 量 。 一 般 而 言 是 按照 平台 逐步 升级 的 ， 这 个 时 候 可 以 进行 流量 切 量 ， 然 后 按照 平台 名 称 逐 步 升级 。 


之 前 跟 HAProxy 负 载 均衡 器 进行 了 比 对 ， 在 应 对 大 流量 CC 攻击 ， 做 正则 匹配 及 头 部 过 滤 时 ，CPU 消 耗 占 到 了 20% 以 上 ， 而 LVS 基 本 上 没有 任何 消耗 ， 可 以 说 在 性 能 方面 是 占 绝对 优势 的 。 再 加 上 CDN 行 
业 的 特殊 性 ， 客 户 端 的 HTTP 请 求 基本 上 都 是 无 会 话 状态 ， 所 以 这 里 还 是 选择 了 LVS+Keepalived/DR。 由 于 节点 机 房 数 量 较 多 ， 也 意味 着 LVS 数 量 较 多 ， 所 以 专门 开发 了 LVS 管 理 平台 的 前 端 页 面 ， 方 便 运 维 
人 员 通 过 界面 来 部 署 操 作 ， 这 样 就 进一步 减少 了 人 为 误 操作 。LVS+Keepalived/DR 的 部 署 过 程 较为 简单 ， 网 上 资料 也 有 很 多 ， 这 里 就 不 再 乾 述 了 。 














LVS 机 器 的 优化 可 参考 前 面 的 部 分 ， 但 作为 流量 的 入 口 ， 其 作用 也 很 重要 ， 所 以 必要 的 优化 也 很 有 必要 ， 具 体 优化 如 下 所 示 : 











1. 增 加 并 发 连接 ， 解 决 因 为 哈 希 表 过 小 导致 软 中 断 过 高 的 问题 








在 安装 好 后 (CentOS 6.8 x86_64 的 系统 ， 系 统 最 小 化 后 通过 yum 安 装 ipvs) ， 默 认 情况 下 哈 希 表 是 4096 (2 的 12 次 方 ) : 


我 们 可 以 使 用 ipvsadm 命 令 查看 ， 如 下 所 示 : 











ipvsadm -1n 
命令 结果 如 下 所 示 : 





IP Virtual Server version 1.2.1 (size=4096) 
Prot LocalAddress:Port Scheduler Flags 
-> RemoteAddress:Port Forward Weight ActiveConn InActConn 








大 家 注意 size 的 大 小 ， 其 默认 值 为 4096。 








和 如 下 所 示 : 


可 
Ra 


请 





这 里 我 们 要 做 的 是 在 /etc/modprobe.dy 目 录 下 加 个 Ilvs.conf 文 件 ， 其 内 容 为 options ip_vs conn_tab_bits=20 即 可 ， 然 后 重新 加 载 模块 就 可 以 生效 了 。 配 置 起 来 还 是 比较 简单 的 ， 





echo "options ip vs conn tab bits=20" > /etc/modprobd.d/lvs.conf 





重新 加 载 模块 生效 ， 命 令 如 下 所 示 : 








modprobe -r ip vs _ wrr 
modprobe -r ip vs 
modprobe ip vs 





配置 完成 后 可 以 输入 如 下 命令 : 








ipvsadm -ln 
命令 结果 如 下 所 示 : 





IP Virtual Server version 1.2.1 (size=1048576) 














IPVS connection hash table size， 该 表 用 于 记录 每 个 进来 的 连接 及 路 由 去 向 的 信息 (这 个 和 iptables 跟 踪 表 类 似 ) 。 





连接 跟踪 表 中 ， 每 行 称 为 一 个 Hash Bucket (Hash 桶 ) ， 桶 的 个 数 是 一 个 固定 的 值 CONFIG_IP_VS_TAB_BITS， 默 认为 12 (2 的 12 次 方 ，4096) 。 这 个 值 可 以 调整 ， 该 值 的 大 小 应 该 在 8 到 20 之 间 ， 详 
细 的 调整 方法 见 上 述 命令 。 

LVS 的 调 优 ， 建 议 将 hash table 的 值 设置 为 不 低 于 并 发 连接 数 。 例 如 ， 并 发 连接 数 为 200，Persistent 时 间 为 200 秒 ， 那 么 hash 桶 的 个 数 应 设置 为 尽 可 能 接近 200x200 = 40000， 如 2 的 15 次 方 为 322768 就 
可 以 了 。 当 ip_vs_conn _tab_bits = 20 时 ， 哈 希 表 的 的 大 小 (条 目 ) 为 pow (2，20) ， 即 1048576。 


这 里 的 hash 桶 个 数 并 不 是 LVS 最 大 连接 数 限 制 。LVS 使 用 哈 希 链表 解决 “ 哈 希 冲突 ”， 当 连接 数 大 于 这 个 值 时 ， 必 然 会 出 现 哈 稀 冲 突 ， 导 致 性 能 略微 降低 ， 但 是 并 不 会 在 功能 上 对 LVS 造 成 影响 。 


2. 关 闭 IRQ 自 调节 服务 














LVS 机 器 是 需要 关闭 IRQ 自 调节 服务 的 ， 否 则 会 有 干扰 。 调 节 的 不 合理 会 导致 CPU 使 用 不 平衡 ， 命 令 如 下 所 示 : 








service irqbalance stop 
Chkconfig -level 345 irqbalance off 





3. 网 卡 多 队列 及 中 断 均 衡 


多 队列 网 卡 是 一 种 技术 ， 最 初 用 于 解决 网 络 IO QoS (服务 质量 ) 问题 ， 后 来 随 着 网 络 1 带宽 的 不 断 提 升 ， 单 核 CPU 不 能 完全 满足 网 卡 的 需求 ， 通 过 多 队列 网 卡 驱动 的 支持 ， 将 各 个 队列 通过 中 断 绑 定 到 
不 同 的 核 上 ， 以 满足 网 卡 的 需求 。 同 时 也 可 以 降低 单个 CPU 的 负载 ， 提 升 系统 的 计算 能 力 。 




















现在 的 网 卡 基本 都 是 多 队列 ， 那 如 果 没有 开启 网 卡 多 队列 呢 ? 








如 果 没 有 开启 网 卡 多 队列 ， 将 会 导致 只 有 一 个 CPU 被 使 用 ， 网 卡 在 同一 时 刻 只 能 产生 一 个 中 断 ，CPU 在 同一 时 刻 只 能 响应 一 个 中 断 ， 由 于 配置 的 原因 ， 只 有 一 个 CPU 去 响应 中 断 (这 个 是 可 调 的 ) ， 所 
以 所 有 的 流量 都 压 在 了 一 个 CPU 上 ， 将 导致 CPU 跑 满 。 





为 什么 只 有 一 个 CPU 去 响应 中 断 ? 这 个 是 历史 设计 的 问题 ， 一 开始 CPU 都 是 一 核 的 ， 只 能 由 唯一 的 CPU 去 响应 ， 后 来 逐步 发 展 出 了 多 核 的 CPU， 才 有 了 可 调整 的 参数 去 调整 到 底 由 几 个 CPU 去 处 理 。 


4. 网 卡 的 优化 














网 卡 的 调整 是 很 有 意义 和 必要 的 ， 它 可 以 增加 LVS 主 机 的 网 络 吞吐 能 力 ， 有 利于 提高 LVS 的 处 理 速 度 。 现 在 新 上 线 的 机 器 基本 上 都 是 万 兆 网 卡 ， 用 于 分 发 流量 基本 足够 ， 而 早期 的 机 器 基本 上 是 干 兆 网 
卡 ， 我 们 可 以 采用 bond 技 术 将 两 块 网 卡 绑 定 在 一 起 。 如 果 网 卡 的 入 口 流量 压力 很 大 ， 可 以 通过 网 卡 bond 把 两 块 或 多 块 物理 网 卡 绑 定 为 一 个 逻辑 网 卡 的 方式 ， 实 现 本 地 网 卡 的 元 余 ， 带 宽 扩容 ， 从 而 降低 和 


网 卡 的 压力 。 











十 























5.Keepalived 的 优化 




















对 Keepalived 进 行 优化 ， 主 要 是 将 网 络 模式 从 select 改 为 epool。epoll 是 在 Linux 2.6 内 核 中 提出 的 ， 是 之 前 的 select 的 增强 版 本 。 相 对 于 select 来 说 ，epoll 更 加 灵活 ， 没 有 描述 符 限 制 ， 所 以 我 们 选 
了 epool 网 络 模式 。 





参考 文档 : http://blog.chinaunix.net/uid-1838361-id-3200383.html。 


5.5.2 用 Nginx+Keepalived 实 现在 线 票务 系统 




















这 是 一 套 笔 者 之 前 实施 过 的 在 线 订 票 系统 ， 防 火 墙 、 交 换 机 、 服 务 器 均 置 于 电信 机 房 的 同一 机 柜 中 ， 出 口 带宽 100MB， 项 目 拓 朴 图 如 图 5-7 所 示 。 
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图 5-7 在 线 订 票 系统 网 络 拓 相 图 











1. 整 套 系统 的 安全 考虑 









































因为 牵涉 到 信用 卡 和 银行 卡 在 线 付 款 的 问题 ， 所 以 整套 系统 的 安全 性 就 比较 需要 注意 了 。 在 项 目 实施 过 程 中 ， 我 们 采用 硬件 防火 墙 加 上 应 用 层 防 火 墙 双 层 防护 来 实现 安全 防护 ， 系 统 均 安 装 了 CentOS 
5.4 x86_ 64。 软 件 层 分 为 负载 均衡 层 、Web 层 、 数 据 库 层 ， 整 套 系统 均 关 闭 iptables 防 火 墙 ， 只 映射 Keepalived 虚 拟 的 VIP 在 最 前 端的 华 塞 USG5000 的 外 网 80 端 口上 ， 先 将 整套 系统 的 安全 级 别提 高 到 金融 
安全 级 别 ， 再 考虑 负载 均衡 及 其 他 事宜 。 另 外 ， 网 络 工程 师 都 应 该 清楚 ， 防 火 墙 有 三 种 工作 模式 : 路 由 、 透 明和 混合 模式 。 在 这 里 ， 华 赛 USG5000 防 火 墙 用 的 是 路 由 模式 ， 而 天 泰 防火 墙 用 的 是 透明 模式 。 



















































































这 里 稍微 介绍 下 这 两 种 防火 墙 : 


(1) 华 赛 USG5000 





























华 赛 USG5000 可 以 有 效 抵 御 高 强度 的 网 络 攻击 ， 同 时 还 可 以 保证 正常 的 网 络 应 用 。 其 基于 多 核 处 理 器 的 硬件 构架 ， 依 靠 多 线程 处 理 设计 提供 了 十 分 优秀 的 数据 处 理 能 力 ， 完 全 可 以 为 Internet 服 务 提 供 
商 、 大 型 企业 、 园 区 网 、 数 据 中 心 等 具备 大 流量 网 络 带宽 的 用 户 提供 高 性 能 的 安全 防御 手段 。 尤 其 是 USG5000 具 备 的 超 高 “每 秒 新 建 连 接 数 ” ， 不 仅 可 以 对 多 种 并 行 的 网 络 应 用 实现 快速 响应 ， 而 且 在 大 流 
量 网 络 攻击 的 情况 下 ， 仍 然 可 以 防止 网 络 业务 中 断 ， 避 免 给 用 户 带 来 损失 。 

















































































































它 能 有 效 地 保障 网 络 运行 ， 并 且 其 独特 的 GTP 安 全 防护 功能 可 以 为 GPRS 网 络 提供 有 效 的 安全 防护 。USG5000 安 全 网 关 可 以 抵御 大 流量 的 DDoS 攻击 ， 为 用 户 的 业务 系统 提供 DDoS 攻击 防护 ， 依 托 其 优 
越 的 产品 性 能 ， 可 以 防范 每 秒 数 百 万 包 以 上 的 DDoS 攻击 ， 可 对 SYN FLOOD、UDP FLOOD、ICMP FLOOD、DNS FLOOD、CC 等 多 种 DDoS 攻击 种 类 准确 识别 并 控制 ， 同 时 还 能 提供 蠕虫 病毒 流量 的 识别 
和 防范 能 力 ， 结 合 华为 赛 门 铁 克 专 有 的 ICA 智 能 连接 算法 ， 保 证 在 准确 识别 DDoS 攻击 流量 的 同时 ， 不 影响 用 户 的 正常 访问 ， 在 复杂 的 网 络 情况 下 实现 真正 的 安全 防护 ， 是 业界 领先 的 DDoS 防护 设备 ， 此 功 
能 也 是 我 们 关注 的 重点 。 


















































(2) 天 泰 WAF-T3-500-L 安 全 网 关 防 火 墙 


























天 泰 WAF-T3-500-L 安 全 网 关 防 火 墙 具 备 全 面 的 攻击 防御 系统 ， 可 保证 系统 不 受 网 络 蠕虫 /病毒 和 应 用 专用 漏洞 的 攻击 ， 并 且 大 大 缓解 了 来 自 网 络 层 和 应 用 层 DoS/DDoS 攻 击 的 影响 。 网 关 的 
NetShieldTM 引 警 会 在 网 络 层 对 数据 进行 细致 检查 ， 彻 底 阻 断 来 自 网 络 层 的 潜在 攻击 。 网 关 的 WebshieldTM 引 擎 会 在 应 用 层 对 Web 请 求 进行 检 查 ， 关 别 恶意 内 容 并 阻止 其 进入 应 用 服务 器 。 






















































































其 安全 性 能 包括 : 

“ 常见 网 络 攻击 防护 : 保护 网 络 基础 设施 不 受 来 自 网 络 层 的 常见 攻击 。 

: DoS/DDoS 保 护 : 识别 网 络 层 和 应 用 层 的 DoS/DDoS 攻 击 ， 缓 解 攻 击 对 应 用 基础 设施 的 影响 (这 也 是 我 们 关注 的 重点 ) 。 
“ 入 侵 过滤 : 通过 在 恶意 蠕虫 和 病毒 进入 应 用 服务 器 前 进行 识别 并 拒绝 其 进入 ， 保 护 应 用 服务 器 不 受 侵袭。 


“SSL 加 密 : 应 用 内 容 在 传输 过 程 中 都 受 加 密 保护 ， 通 过 转移 服务 器 复杂 的 加 /解密 任务 将 应 用 处 理 能 力 发 挥 到 极致 。 该 功能 保护 敏感 应 用 内 容 的 安全 ， 使 其 摆脱 被 窃取 及 被 滥用 的 潜在 威胁 。 





此 外 ， 还 能 实现 SQL 注入 攻击 防护 ， 钩 鱼 攻击 的 防护 ， 跨 站 脚本 攻击 的 防护 ， 以 及 常见 系统 溢出 的 防护 等 ， 这 些 都 是 我 们 比较 关注 的 内 容 。 





关于 证 书 ， 我 们 购买 了 Geo Trust 的 商业 证 书 ， 它 支持 多 域名 的 HTTPS， 可 防止 以 后 域名 有 rewrite 跳 转 的 需求 。 另 外 ， 我 们 还 购买 了 M cafee 的 网 站 扫描 服务 ， 这 一 服务 是 针对 代码 层面 安全 的 。 








2. 硬 件 方面 的 投入 






































我 们 一 般 采 用 的 是 HP DL380G6 (用 于 后 面 的 Web 集 群 ) 和 HP DL580G5 (用 于 MySQL 数 据 库 ) 服务 器 。 在 项 目 实施 过 程 中 ， 我 们 发 现 HP DL580G5 的 性 能 确实 彪 悍 ， 如 果 成 本 充分 ， 可 考虑 采用 此 服 
务 器 作为 应 用 服务 器 。 它 跟 以 往 的 型 号 不 同 ， 用 的 是 双 四 核 至 强 E74403.2G 的 CPU， 内 存 一 般 是 64GB 或 128GB， 这 可 以 根据 项 目 成 本 来 权衡 。 在 租用 机 房 时 ， 我 们 一 般 选 择 的 是 电信 机 房 ， 也 可 考虑 北京 双 
线 通 机 房 ， 出 口 带宽 建议 为 100MB (如 果 成 本 宽裕 ， 也 可 以 考虑 200MB 或 者 更 高 ) 。 



































































































































3. 负 载 均衡 层 



































有 关 负 载 均衡 层 的 软件 采用 的 是 Nginx0.8.15 源 码 (当时 最 新 最 稳定 的 版 本 ) ， 两 台 Nginx 负 载 均衡 用 Keepalived 作 高 HA。 其 实 也 可 以 用 LVS/Keepavlied 来 实现 ， 但 我 们 在 项 目 实施 过 程 中 发 
现 ，Nginx 在 正则 处 理 及 分 发 上 效果 比 LVS 更 好 (有 些 功能 LVS 实 现 不 了 ) ， 而 且 稳 定性 也 不 错 。 在 已 上 线 的 金融 资讯 类 的 项 目 里 ， 我 做 的 是 1+ 2 的 架构 ( 按 客 户 的 要 求 ) ， 已 稳定 运行 几 年 ， 当 然 也 要 配合 


Cacti+Nagios 进 行 实时 监控 。 
























































如 何 处 理 Session 的 问题 呢 ? 














1) Nginx 负 载 均衡 器 采用 ip_hash 模 块 ， 让 访问 的 客户 端 始终 与 后 端的 某 台 Web 服 务 器 建立 固定 的 连接 关系 。 




















2) 采用 与 PHPCMS 类 似 的 方法 ， 将 Session 写 进 后 端的 统一 数据 库 里 ， 例 如 MySQL 数 据 库 。 




















前 期 我 们 用 的 是 第 二 种 方案 ， 后 来 发 现 数据 库 的 压力 会 因此 而 增 大 ， 所 以 采取 了 前 一 种 会 话 保持 的 方法 。 




















4.Web 层 
页 面 同步 的 办 法 如 下 所 示 : 














1) 我 们 可 以 采用 rsync+inotify 的 办 法 使 不 同 Web 服 务 器 之 间 的 数据 同步 。 





























2) 后 端 采用 共用 存储 ， 读 数据 采用 同一 个 存储 设备 。 


























这 里 说 一 下 使 用 的 存储 设备 ， 我 们 用 得 比较 多 的 是 EMC CLARiiON CX4 的 FC 磁 盘 阵 列 ， 它 很 稳定 ， 没 发 生 过 数据 库 丢 失 的 问题 。 缺 点 是 比较 贵 ， 会 增加 整个 系统 的 实施 成 本 。 
































3) 在 PHP 程 序 上 实现 动态 调 取 数据 (如 图 片 信息 ) ， 不 在 Web 服 务 器 调 取 而 直接 采用 后 端的 文件 服务 器 存储 。 
































前 期 我 们 用 的 是 单 NFS 方 案 ， 后 期 采用 的 是 DRBD+Heartbeat+NFS 方 案 (客户 最 后 要 求 上 存储 ， 我 们 就 上 了 EMC CLARiiON CX4) ， 其 稳定 性 还 是 很 不 错 的 。 





























个 人 觉得 这 几 种 方案 里 性 价 比 最 高 的 是 rsync+inotify。 




















Web 集 群 方面 用 的 是 Nginx+ PHP5 (FastCGI) ， 这 里 说 一 下 并 发 的 问题 。 在 设计 项 目 方案 时 ,我 们 考虑 单 台 Web 服 务 器 上 的 并 发 值 为 3000， 在 局 域 网 环境 中 (要 考虑 网 络 环境 的 影响 ) 通过 
LoadRunner 反 复 测试 ， 单 台 Nginx 的 Web 服 务 器 通过 3000 的 并 发 没有 问题 ，3 台 Web 机 器 即 是 3000x3 并 发 。 但 系统 正式 上 线 时 发 现 ， 在 非 游戏 类 的 网 站 上 根本 达 不 到 9000 并 发 。 这 只 是 一 个 理论 值 。 但 本 
着 高 扩展 性 的 原则 ， 还 是 尽量 在 硬件 和 性 能 上 对 单 台 Web 服 务 器 进行 了 调 优 ， 我 们 要 设计 的 这 个 票务 系统 是 9000 万 张 票 ， 预 计 并 发 在 2000 左 右 ， 此 系统 架构 完全 能 胜任 这 个 并 发 情况 。 另 外 ，Nginx 作 为 负 
载 均衡 器 /代理 服务 器 在 高 并 发 下 的 稳定 性 组 庸 置 疑 ， 有 相关 项 目 经 验 的 人 应 该 都 很 了 解 。 






























































5 数据 库 层 





考虑 到 数据 库 层 的 压力 情况 ， 笔 者 提出 四 种 设计 方案 : 









































1) 采用 最 常用 的 是 MySQL 一 主 一 从 方案 ， 在 主 MySQL 数 据 库 上 做 好 单机 数据 库 的 优化 。 


















































2) 采用 MySQL 的 一 主 多 从 、 读 写 分 离 方案 ， 另 外 还 可 以 考虑 自己 开发 中 间 件 技术 ， 让 真正 实现 写 功 能 的 MySQL 压 力 降低 ， 从 而 达到 数据 库 架 构 级 调 优 的 功能 。 


























3) 可 以 做 MySQIl 数 据 库 的 垂直 切 分 ， 将 压力 过 大 的 MySQL 数 据 库 根据 业务 分 成 几 个 小 数据 库 ， 以 此 减轻 压力 。 


























4) 如 果 读 写 压力 还 是 过 大 ， 考 虑 采用 Oracle 数 据 库 的 RAC 方 案 ， 我 们 曾 用 此 方案 成 功 解决 了 某 企 业 100 万 用 户 的 OA 在 线 系统 数据 库 压力 过 大 的 问题 ， 当 然 预 算 成 本 也 大 大 增加 了 。 

















项 目 实施 时 ， 我 们 用 的 是 MySQL 一 主 一 从 方案 ， 项 目 上 线 后 发 现 事 实 上 数据 库 的 压力 没有 想象 中 的 那么 大 。 




















项 目 运行 结果 : 














目前 整套 系统 已 在 线 上 稳定 运行 ， 并 且 在 高 并 发 时 间 段 也 没有 发 生 任何 问题 。 通 过 设计 这 套 网 站 架构 (包括 防火 墙 的 型 号 ) ， 笔 者 整理 出 了 一 个 框架 ， 并 已 形成 工作 文档 ， 可 用 于 公司 其 他 项 目的 实施 
方案 。 





5.5.3 ”企业 级 Web 负 和 载 均衡 高 可 用 之 Nginx+Keepalived 











推荐 掌握 企业 级 的 成 熟 Nginx+ Keepalived 负 载 均衡 高 可 用 方案 ， 其 拓扑 图 如 图 5-8 所 示 。 
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5-8 Nginx+Keepalived 负 载 均衡 高 可 用 网 络 拓扑 图 


一 般 为 了 维护 方便 ， 企 业 网 站 的 服务 器 都 在 自己 的 内 部 机 房 里 ， 只 开放 Keepalived 的 VIP 地 址 的 两 个 端口 80、443， 通 过 Juniper SSG550 防 火 墙 映射 出 去 ， 外 网 DNS 对 应 映射 后 的 公 网 IP。 此 架构 的 防 
火 墙 及 网 络 安全 说 明 如 下 : 





此 系统 架构 仅 映 射 内 网 VIP 的 80 及 443 端 口 于 外 网 的 Juniper SSG550 防 火 墙 下 ， 其 他 端口 均 关闭 。 内 网 所 有 机 器 均 关 闭 iptables 及 ipfw 防 火 墙 ， 外 网 DNS 指向 通过 Juniper 或 华 赛 USG5000 映 射出 来 的 外 
网 地 址 。 


本 节 内 容 出 自 笔 者 的 项 目 方案 ， 这 种 负载 均衡 方式 也 应 用 于 笔者 公司 的 电子 商务 网 站 中 ， 目 前 已 稳定 上 线 一 年 多 。 通 过 下 述 内 容 ， 大 家 可 以 迅速 架构 一 个 企业 级 的 负载 均衡 高 可 用 的 Web 环 境 。 在 负载 
均衡 高 可 用 技术 上 ， 笔 者 一 直 主力 推崇 以 Nginx+ Keepalived 作 为 Web 的 负载 均衡 高 可 用 架构 ， 并 积极 将 其 应 用 于 真实 项 目 中 ， 此 架构 极 适 合 灵活 稳定 的 环境 。Nginx 负 载 均衡 作 服务 器 遇 到 的 故障 一 般 
有 : 





























“ 服务 器 网 线 松动 等 网 络 故障 。 
“ 服务 器 硬件 故障 发 生 损 坏 现象 而 Crash。 


* Nginx 服 务 死 掉 。 





遇 到 前 两 种 情况 时 ，keeaplived 能 起 到 HA 的 作用 ， 然 而 遇 到 第 三 种 情况 时 就 束手无策 了 ， 但 可 以 通过 Shell 脚 本 监控 解决 此 问题 ， 从 而 实现 真正 意义 上 的 负载 均衡 高 可 用 。 笔 者 在 电子 商务 网 站 上 就 采 
了 这 种 方法 ， 下 面 将 其 安装 步骤 进行 详细 说 明 : 


























1.Nginx+Keepalived 的 说 明 及 环境 说 明 














为 了 真实 还 原 项 目 或 网 站 的 实施 背景 ， 所 用 的 操作 系统 或 软件 版 本 均 已 真实 注 明 。 














关于 服务 器 系统 ， 从 早期 的 CentOS 5.5 x86_64 到 现在 的 CentOS 5.8 x86_64 均 有 涉及 。 整 个 系统 的 IP 情 况 如 表 5-2 所 示 。 


表 5-2 Nginx+Keepalived 服 务 器 的 JP 分配 表 


服务 器 名 称 用 途 


Nginx Master 192.168.1.103 提供 负载 均衡 
Nginx_Backup 192.168.1.104 提供 负载 均衡 
LVS-DR-VIP 192.168.1.108 网 站 的 VIP 地 址 


Webl 服务 器 192.168.1.106 提供 Web 服务 
Web2 服务 器 192.168.1.107 提供 Web 服务 


2. 分 别 安装 Nginx 负 载 均衡 器 及 相关 的 配置 脚本 


先 安装 Nginx 负 载 均衡 器 ，Nginx 负 载 的 设置 用 一 般 的 模板 进 进 配置 。 











(1) 添加 运行 Nginx 的 用 户 和 组 www 及 Nginx 存 放 日 志 的 位 置 ， 并 安装 gcc 等 基础 库 ， 以 免 发 生 libtool 报 错 现象 ， 命 令 如 下 : 




















yum -Y install gcc gcc+ gcc-c++ openssl openssl-devel 
groupadd www 

useradd -g WwW Www 

mdkir -P /data/logs/ 

chown -R www:www /data/logs/ 





(2) 下 载 并 安装 Nginx0.8.15 (当时 最 新 最 稳定 的 版 本 ) ， 另 外 建议 大 家 在 工作 中 养 成 好 习惯 ,下载 的 软件 包 均 放 到 /usr/local/src 下 ， 如 下 所 示 : 





cd /usr/local/src 

wget http://blog.s135.com/soft/linux/nginx php/pcre/pcre-7.9.tar.gz 

tar zxvf pcre-7.9.tar.gz 

cd pcre-7.9/ 

./configure 

make && make install 

cd http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../ 
wget http://sysoev.ru/nginx/nginx-0.8.15.tar.gz 

tar zxvf nginx-0.8.15.tar.gz 

cd nginx-0.8.15/ 

./configure --user=www --group=www --prefix=/usr/local/nginx --with-http stub status module --with-http ssl module 
make && make install re 
cd http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../ 








回 











配置 Nginx 负 载 均衡 器 的 配置 文件 是 vim/usr/local/nginx/conf/nginx.conf， 下 | 
购买 的 相关 证 书 文件 放 到 Nginx 负 载 均衡 器 上 (2 台 LB 机 器 都 要 放 ) ， 而 非 置 于 后 


的 配置 文件 仅仅 是 笔者 某 项 目的 配置 文档 ， 纯 http 转 发 。 如 果 要 添加 SSL 支 持 也 很 简单 ， 后 面 会 有 相关 说 明 ， 记 得 
的 Web 机 器 上 ， 配 置 文件 内 容 如 下 : 











回 

















User Www Www; 

worker processes 8; 

pid /usr/local/nginx/logs/nginx.pid; 
worker rlimit nofile 51200; 


events 

{ 

use epoll; 

worker_ connections 51200; 
} 

httpt{ 

include mime.types; 


default type application/octet-stream; 
server names hash bucket size 128; 
client_header buffer size 32k; 
large client header buffers 4 32k; 
client max body size 8m; 

sendfile on; 

tcP_nopush On7 

keepalive timeout 60; 

tcp_nodelay on; 

fastcgi connect timeout 300; 
fastcgi_send timeout 300; 
fastcgi_ read timeout 300; 

fastcgi buffer size 64k; 

fastcgi buffers 4 64k; 
fastcgi busy buffers size 128k; 
fastcgi temp file write size 128k; 


gzip on; 
gzip min length 1k; 
gzip buffers 4 16k; 


gzip http version 1.0; 

gzip comp level 2; 

gzip types text/plain application/x-javascript text/css application/xml; 
gzip vary on; 


upstream backend 


{ 

ip_hash; 

server 192.168.1.106:80; 

server 192.168.1.107:80; 

} 

server { 

listen 80; 

server name www.1lpaituan.com; 

location / { 

root /var/www/html ; 

index index.php index.htm index.html; 
proxy redirect off; 

proxy_set_header Host $host; 

proxy_ set header X-Real-IP Sremote addr; 
proxy_ set header X-Forwarded-For $proxy add x forwarded for; 
proxy_pass http://backend; 

} 


location /nginx { 

access log off; 

auth basic "NginxStatus"; 

#auth basic user file /usr/local/nginx/htpasswd; 
} 


log format access '$remote addr - $remote user [$time local] "$request™" ' 
'$status $body bytes sent "$http referer™" ' 

'"$http user agent" Shttp x forwarded for'; 

access log /data/logs/access.1og access; 

i 

} 





分 别 在 两 台 Nginx 负 载 均衡 器 上 执行 /usr/local/nginx/sbin/nginx 命 令 ， 启 动 Nginx 进 程 ， 然 后 用 命令 来 检查 ， 如 下 所 示 : 








lsof -i:80 





此 命令 显示 结果 如 下 : 





COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME 


nginx 13875 root 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13876 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13877 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13878 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13879 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13880 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13881 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13882 www 6u IPv4 25918 TCP *:http (LISTEN) 
nginx 13883 www 6u IPv4 25918 TCP *:http (LISTEN) 





Nginx 程 序 正 常 启动 后 ， 两 台 Nginx 负 载 均衡 器 就 算 安装 成 功 了 ， 现 在 我 们 要 安装 Keeaplived 来 实现 这 两 台 Nginx 负 载 均 衡器 的 高 可 


3. 安 装 Keepalived， 让 其 分 别 作 Web 及 Nginx 的 HA 





1) 安装 Keepalived， 并 将 其 做 成 服务 模式 ， 方 便 以 后 调试 。Keepalived 的 安装 方法 如 下 : 





wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz 
tar zxvf keepalived-1.1.15.tar.gz 

cd keepalived-1.1.15 

./configure --prefix=/usr/local/keepalived 


make 
make install 





2) 安装 成 功 后 做 成 服务 模式 ,方便 启动 和 关闭 ,方法 如 下 : 





cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/ 
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/ 





3) 接 下 来 就 是 分 别 设置 





ENginx 和 备 Nginx 上 的 keepalived 配 置 文件 ， 我 们 先 配置 主 Nginx 上 的 keepalived.conf 文 件 ， 如 下 所 示 : 





mkdir /etc/keepalived 
cd /etc/keepalived/ 





我 们 可 以 用 vim 编 辑 /etc/keepalived.conf， 内 容 如 下 所 示 : 





! Configuration File for keepalived 
global defs { 
notification email { 
yuhongchun027@163.com 


} 


notification email from keepalived@chtopnet.com 
smtp_server 127.0.0.1 

smtp_connect timeout 30 

router id LVS_ DEVEL 


} 


vrrp instance VI 1 { 

State MASTER 
interface eth0 
virtual router id 51 
mcast_src ip 192.168.1.103 #mcast_src_ip 此 处 是 发 送 多 播 包 的 地 址 ， 如 果 不 设置 ， 则 默认 使 用 绑 定 的 网 卡 
priority 100 # 此 处 的 priority 是 100， 注 意 跟 backup 机 器 的 区 分 
advert int 1 
authentication { 

auth type PASS 

auth pass chtopnet 


virtual ipaddress { 
192.168.1.108 


} 

















下 面 设置 备 








Nginx 上 的 Keepalived.conf 配 置 文件 ， 注 意 与 主 Nginx 上 的 keepalived.conf| 





区 分 开 ， 代 码 如 下 : 





! Configuration File for keepalived 
global defs { 
notification email { 
yuhongchun027@163.com 


} 


notification email from keepalived@chtopnet.com 
smtp_server 127.0.0.1 

smtp_connect timeout 30 

router id LVS_DEVET 


vrrp instance VI_ 1 { 
State MASTER 
interface eth0 
virtual router id 51 
mcast_ src ip 192.168.1.104 
priority 99 
advert int 1 
authentication { 
auth type PASS 
auth pass chtopnet 


virtual ipaddress { 
192.168.1.108 


} 





在 两 台 负载 均衡 器 上 分 别 启动 keepalived 程 序 ， 命 令 如 下 : 





service keepalived start 





这 是 主 Nginx 上 与 keepalived 相 关 的 日 志 ， 可 以 用 如 下 命令 查看 : 








tail /var/log/messages 





此 命令 显示 结 


果 如 下 : 





May 6 05:10:42 localhost Keepalived vrrp: Configuration is using : 62610 Bytes 














May 
May 
May 
May 
May 
May 
May 
May 
May 


显然 vrrp 已 经 启动 ， 我 们 还 可 以 通过 命令 ip addr 来 检查 主 Nginx 上 的 IP 分 配 情况 ， 通 过 下 


mannanann 
© 
On 


ip adqr 
1: 1o: <LOOPBACK,UP,LOWER UP> mtu 16436 qdisc noqueue 


link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 


0s 
10 
:10; 
:10; 
:10s 
10s 
10: 
:10; 
:10s 


42 
43 
44 
44 
44 
44 
44 
44 
49 


localhost Keepalived vrrp: 
localhost Keepalived vrrp: 
localhost Keepalived vrrp: 
localhost Keepalived vrrp: 


VRRP sockpool: 
VRRP Instance (VI 1) 
VRRP_Instance (VI 1) Entering MASTER STATE 
VRRP - Instance (VI 1) setting Protocol VIPs. 
localhost Keepalived healthcheckers: Netlink reflector reports IP 192.168.1.108 added 


[ifindex(2), proto(112), fd(8,9)] 


Transition to MASTER STATE 


localhost Keepalived vrrp: VRRP Instance(VI 1) Sending gratuitous ARPs on eth0 for 192.168.1.108 


localhost Keepalived vrrp: Netlink reflector reports IP 192.168.1.108 added 


localhost avahi-daemon[2212] : Registering new address record for 192.168.1.108 on eth0. 


localhost Keepalived vrrp: VRRP Instance (VI_1) Sending gratuitous ARPs on eth0 for 192.168.1.108 


inet 127.0.0.1/8 scope host lo 


inet6 : 


inet 192.168.1.103/24 brd 192.168.1.255 scope global eth0 


:1/128 scope host 


valid 1ft forever preferred lft forever 
2: eth0: <BROADCAST,MULTICAST, UP,LOWER UP> mtu 1500 qdisc pfifo fast qlen 1000 
link/ether 00:0c:29:51:59:df brd ff:ff:ff:ff:ff:ff 


inet 192.168.1.108/32 scope global eth0 
inet6 fe80::20c:29ff:fe5l:59df/64 scope link 


在 这 个 过 程 中 ， 有 大 量 的 VRRP 数 据 包 , 习 


valid 1ft forever preferred lft forever 
3: sit0: <NOARP> mtu 1480 qdisc noop 
link/sit 0.0.0.0 brd 0.0.0.0 



























































随 着 Internet 的 迅猛 发 展 ， 基 于 网 络 的 应 
虑 ， 可 以 采用 廉价 元 余 的 思路 ， 在 可 靠 性 和 经 济 性 方面 找到 平衡 点 。 


虚拟 路 由 宛 余 协议 就 是 一 种 很 好 的 解决 方案 。 在 该 协议 中 ， 对 共享 多 存 取 访问 介质 (如 以 太 网 ) 上 的 终端 





由 设备 及 时 接管 转发 工作 ， 向 用 户 提供 透明 切换 ， 提 高 了 网 络 服务 质量 。 
(1) 协议 概述 
在 基于 TCP/IP 协 议 的 网 络 中 ， 为 了 保证 不 直接 物理 连接 的 设备 之 间 的 通信 ， 必 须 指定 路 由 。 目 前 指定 路 由 的 常 


种 是 静态 配置 。 在 每 一 个 终端 都 运行 动态 路 由 协议 是 不 现实 的 ， 大 多 客户 端 操作 系统 平台 都 不 支持 动态 路 由 协议 , 旬 
股 是 给 终端 设备 指定 一 个 或 多 个 默认 网 关 (Default Gateway) 。 
一 跳 


设备 进行 静态 路 由 配置 的 方式 ,一 
为 默认 网 关 的 路 由 器 损坏 ， 所 有 使 
























































该 网 关 为 下 














了 么 什么 是 VRRP 呢 ? 为 了 让 大 家 对 Keepalived 有 所 了 解 ， 笔 者 将 详细 说 明 下 虚拟 路 由 元 余 协 议 (VRRP) 。 


面 的 显示 内 容 可 以 清楚 地 看 到 VIP 地 址 已 绑 定 到 主 Nginx 的 机 器 上 ， 使 用 如 下 命令 查看 : 








逐渐 增多 。 这 就 对 网 络 的 可 靠 性 提出 了 越 来 越 高 的 要 求 。 斥 资 对 所 有 网 络 设备 进行 更 新 当然 是 一 种 很 好 的 可 靠 性 解决 方案 ， 但 本 着 保护 现 有 资产 的 角度 考 














山 |P 设 备 的 默认 网 关 (Default Gateway) 进行 元 余 备 份 ， 当 其 中 一 台 路 由 设备 宕 机 时 ， 备 份 路 



































机 的 通信 必然 中 断 。 即 便 配 置 了 多 个 默认 网 关 ， 如 果 不 本 


Redundancy Protocol， 简 称 VRRP) 就 可 以 很 好 地 避免 静态 指定 网 关 的 缺陷 。 


在 VRRP 协 议 中 ， 有 两 组 
念 。 一 组 VRRP 路 由 器 协同 工作 ， 共 同 构成 一 台 虚 拟 路 由 器 。 该 虚拟 路 由 器 对 外 表现 为 一 个 


念 。 


器 和 备份 路 由 器 ， 
包 ， 组 中 的 其 他 路 由 器 作为 备份 的 角色 处 于 待命 状态 。 


故 对 终端 使 




















一 个 VRRP 组 中 有 上 且 只 有 一 台 处 于 


(2) 工作 原理 


一 个 VRRP 路 由 器 有 唯一 的 标识 : VRID， 范 转 
样 ， 无 论 如 何 切换 ， 保 证 给 终端 


VRRP 控 制 报 文 只 有 一 种 : VRRP 通 告 








者 的 系统 是 透明 的 。 























在 VRRP 路 由 器 组 中 ， 按 优先 级 选举 3 
址 所 有 者 自动 具有 最 高 优先 级 : 255。 优 先 级 0 一 般 
在 主 控 路 由 器 的 选举 中 ， 高 优先 级 的 虚拟 路 由 器 会 获胜 ， 
地 址 的 大 小 顺序 选举 。VRRP 还 提供 了 优先 级 抢占 策 








为 了 保证 VRRP 协 议 的 
置 错误 ， 但 不 能 防止 通过 网 络 


我 们 可 以 通过 Tcpdump 抓 包 发 现 两 全 Nginx 负 载 均衡 器 上 有 大 量 VRRP 包 ， 可 在 任何 一 台 机 器 上 





其 他 管理 策略 来 设 


tcpdump vrrp 


me 


以 正 。 























EF 控 角色 的 路 由 


(advertisement) 。 








当 由 于 某 种 原 











山 设 备 的 是 唯一 一 致 的 |P 和 MAC 地 址 ， 








有 唯一 固 





设备 的 影响 。 





E 控 路 由 器 ，VRRP 协 议 中 的 优先 级 范围 
在 IP 地 址 所 有 者 主动 放弃 主 控 者 角色 时 。 





是 0 ~ 255。 若 VRRP 路 由 器 的 IP 





它 使 用 IP 多 播 数据 包 进 行 封装 ， 组 地 址 为 224.0.0.18， 发 布 范 车 
少 网 络 带 宽 消 耗 ， 只 有 主 控 路 由 器 才 可 以 周期 性 地 发 送 VRRP 通 告 报 文 。 备 份 路 由 器 在 连续 三 个 通告 间隔 内 收 不 型 

















可 配置 的 优先 级 范 





























监听 方式 获得 密码 。 


命令 显示 结果 如 下 : 














tcpdump: verbose output suppressed, use -V or -vv for full Protocol decode 
listening on eth0, link-type EN10MB (Ethernet), capture Size 96 bytes 


可 以 看 到 ， 优 先 级 高 的 一 方 ( 即 priority 为 100 的 机 器 ) ， 通 过 VRRPv2， 获 得 了 VIP 地 址 ， 而 且 VRRPv2 包 的 发 送 极 有 规律 ， 每 秒 发 送 一 次 ， 当 然 ， 这 是 通过 配置 文件 进行 控制 的 。 通 俗 来 说 ， 


:04: 


16.372116 
:17.374134 
:18.375461 
:19.376198 
:20.377229 
:20.378986 


IP 192.168.1.103 > VRRP.MCAST.NET: 
IP 192.168.1.103 > VRRP.MCAST.NET: 
IP 192.168.1.103 > VRRP.MCAST.NET: 
IP 192.168.1.103 > VRRP.MCAST.NET: 
IP 192.168.1.103 > VRRP.MCAST.NET: 
IP 192.168.1.104 > VRRP.MCAST.NET: 


VRRPV2, 
VRRPV2, 
VRRPV2, 
VRRPV2, 


VRRPV2, 
VRRPV2, 


Advertisement, 
Advertisement, 
Advertisement, 
Advertisement, 
Advertisement, 
Advertisement, 
:0v4:20.381515 IP 192.168.1.103 > VRRP.MCAST.NET: VRRPV2, Advertisement, vrid 51, prio 100, authtype simple, intvl ls, length 20 
:04:21.383936 IP 192.168.1.103 > VRRP.MCAST.NET: VRRPV2, Advertisement, vrid 51, prio 100, authtype simple, intvl ls, length 20 


weid Si 
wrid 51; 
vrid .517 
veicd Si: 
weid Sis 
vrid 51> 


prio 
prio 
prio 
Prio 
Prio 
Prio 


发 送 VRRPv2 包 来 告诉 从 机 (作为 第 二 名 的 机 器 ) ， 我 是 第 一 名 ， 我 已 抢 到 VIP 地 址 ， 你 不 要 再 抢 啦 。 




















针对 Nginx+Keepalived 方 案 ， 编 写 了 Nginx 监 控 脚 本 nginx_pid.sh 来 实现 真正 意义 上 的 高 可 | 
Nginx; 如 果 失 败 ， 则 立即 停 掉 本 机 的 keepalived 服 务 ， 让 另 一 台 负 载 均衡 器 接手 。 此 脚本 直接 从 生产 环境 下 载 ， 内 容 如 下 所 示 : 


4. 用 nginx_pid.sh 脚 本 上 





监控 Nginx 进 程 



































100, 
100, 
100, 
100, 


100, 





authtype 
authtype 
authtype 
authtype 
authtype 


VRRP 或 收 到 


方法 有 两 种 : 
使 支持 也 受到 管理 开销 、 收 敛 度 、 安 全 性 等 诸多 问题 的 限制 。 











一 种 是 通过 路 由 协议 (比如 : Wi 动态 学 习 ; 另 一 





器 ， 可 以 有 一 个 或 多 个 处 于 备份 角色 的 路 由 器 。VRRP 协 议 使 




















控 路 由 器 发 生 故 障 时 ， 备 份 路 由 器 能 在 几 秒 钟 的 延 时 后 升级 为 


选择 策略 从 路 由 





静态 路 由 的 方法 简化 了 网 络 管理 的 复杂 度 ， 也 减轻 了 终端 设 











对 终端 IP 
: 如 果 作 




















新 启动 终端 设备 ， 依 旧 不 能 切换 到 新 的 网 关上 。 但 是 采 





路 由 器 。 由 于 此 切换 非常 迅速 ， 而 且 不 











虚拟 路 由 宛 余 协议 (Virtual Router 


要 的 概念 一 VRRP 路 由 器 和 虚拟 路 由 器 ， 主 控 路 由 器 和 备份 路 由 器 。VRRP 路 由 器 是 指 运行 VRRP 的 路 由 器 ， 是 物理 实体 ， 虚 拟 路 由 器 是 指 VRRP 协 议 创建 的 路 由 器 ， 是 逻辑 
定 IP 地 址 和 MAC 地 址 的 逻辑 路 由 器 。 处 于 同一 个 VRRP 组 中 的 路 由 器 




















有 两 种 互 斥 的 角色 : 主 控 路 由 


























器 组 中 选 出 一 台 作为 主 控 ， 负 责 ARP 响 应 和 转发 |P 数 据 




















改变 IP 地 址 和 MAC 地 址 ， 


为 0 ~ 255。 该 路 由 器 对 外 表现 为 唯一 的 虚拟 MAC 地 址 ， 地 址 的 格式 为 00-00-5E-00-01-[VRID]。 主 控 路 由 器 负责 对 ARP 请 求 用 该 MAC 地 址 做 应 答 。 这 
减少 了 切换 对 终端 




















能 够 防止 报 文 重 放 和 修改 等 攻击 。 


simple, 
simple, 
simple, 
simple, 
simple, 


只 限 3 
优先 级 为 0 的 通告 








intvl 
intvl 
intvl 
intvl 
intwl 


也 址 和 虚拟 路 由 器 的 接口 IP 地 址 相同 ， 风 
为 1 ~ 254， 优 先 级 的 配置 原则 可 以 依据 链 路 的 速 
因此 ， 如 果 在 VRRP 组 中 有 IP 地 址 所 有 者 ， 那 么 它 总 是 作为 主 控 路 由 的 角色 出 现 。 对 于 有 相同 优先 级 的 候选 路 由 器 ， 则 按照 |P 
络 ， 如 果 配 置 了 该 策略 ， 高 优先 级 的 备份 路 由 器 便 会 剥夺 当前 低 优先 级 的 3 


启 Tcpdump 进 行 抓 包 ， 命 令 如 下 : 


Lor 
er 
二 人 
Lo: 
1s, 





E 控 路 由 器 ， 成 为 新 的 主 控 路 由 器 。 





length 20 
length 20 
length 20 
length 20 
length 20 


99, authtype simple, intvl ls, length 20 














。 此 脚本 的 思路 其 实 也 很 简单 ， 即 将 其 放置 在 后 台 一 直 监 控 Nginx 进 程 。 如 果 进 程 消失 ， 则 尝试 























称 该 虚拟 路 由 器 为 VRRP 组 中 的 IP 


F 同 一 局 域 网 内 。 这 保证 了 VRID 在 不 同 的 网 络 中 可 以 重复 使 用 。 为 了 减 
则 启动 新 的 一 轮 VRRP 选 举 。 





也 址 所 有 者 ，IP 地 
度 、 成 本 、 路 由 器 的 性 能 和 可 靠 性 ， 以 及 











安全 性 ， 提 供 了 两 种 安全 认证 措施 : 明文 认证 和 IP 头 认证 。 明 文 认证 方式 要 求 : 在 加 入 一 个 VRRP 路 由 器 组 时 ， 必 须 同 时 提供 相同 的 VRID 和 明文 密码 ， 适 合 于 避免 在 局 域 网 内 的 配 
1P 头 认证 的 方式 提供 了 更 高 的 安全 性 ， 


会 不 断 








#!/bin/bash 
while 
do 
nginxpidq= ps -C nginx --no-header | wc -1 
if [ $nginxpid -eq 0 ] ;then 
/usr/local/nginx/sbin/nginx 
sleep 5 
if [ $nginxpid -eq 0 ] ;then 
/etc/init.d/keepalived stop 
下 和 


Yk 
sleep 5 























然后 将 其 置 于 后 台 运 行 sh/root/nginx_pid.sh&， 此 时 大 家 需要 注意 ， 这 种 写法 是 有 问题 的 ， 我 们 用 root 用 户 退 出 终端 后 ， 此 进程 便 会 消失 。 正 确 的 命令 如 下 所 示 : 














nohup /bin/bash /root/nginx pid.sh & 











此 脚本 是 直接 从 生产 服务 器 上 下 载 的 ， 看 到 了 while: 的 时 候 ， 大 家 也 不 用 担心 它 会 引起 死 循 环 的 问题 。 这 是 一 个 无 限 循 环 的 脚本 ， 放 在 主 Nginx 机 器 上 (因为 目前 主要 由 它 提供 服务 ) ， 每 隔 5 秒 执行 一 
次 ， 用 ps-C 命 令 来 收集 Nginx 服 务 的 PID 值 到 底 是 否 为 0， 如 果 是 0 的 话 〈 即 Nginx 进 程 死 掉 了 ) ， 尝 试 启动 Nginx 进 程 ; 如 果 继续 为 0( 即 Nginx 启 动 失败 ) ， 则 关闭 本 机 的 keepalived 进 程 ， 且 VIP 地 址 由 备 
机 接管 ， 当 然 ， 整 个 网 站 也 会 由 备 机 的 Nginx 来 提供 服务 ， 这 样 保 证 了 Nginx 进 程 的 高 可 用 (虽然 在 实际 生产 环境 中 基本 没 发 现 Nginx 进 程 死 掉 的 情况 ， 此 步 操作 可 做 到 有 备 无 患 ) 。 我 们 在 几 次 线 上 维护 工 
作 中 ， 人 为 重启 了 主 Nginx 服 务 器 ， 而 从 Nginx 在 非常 短 的 时 间 就 切换 过 来 了 ， 客 户 没有 因为 网 站 故障 而 进行 投诉 ， 事 实证 明 此 脚本 还 是 有 效 的 。 






















































































注 
OE 附带 说 明 nohup 的 作用 。 如 果 你 正在 运行 一 个 进程 ， 而 且 你 党 得 在 退出 账户 时 该 进程 还 不 应 该 结束 ， 那 么 可 以 使 用 nohup 命 令 ， 该 命令 可 以 在 你 退出 root 账 户 之 后 继续 运行 相应 的 进程 。 


5 .模拟 故障 测试 








整套 系统 配置 完成 后 ， 我 们 就 可 以 通过 http://192.168.1.108/ 进 行 访问 了 ， 接 下 来 要 做 的 是 一 些 模拟 性 故障 测试 ， 比 如 关 掉 一 台 Nginx 负 载 均衡 器 ， 抽 掉 某 台 Web 机 器 的 网 线 或 直接 关机 ， 甚 至 停 掉 其 
中 一 台 Nginx 服 务 器 的 Nginx 服 务 。 结 果 发 现 ， 无 论 在 什么 情况 下 ，Nginx+Keeaplived 都 可 以 正常 提供 服务 ， 笔 者 有 许多 项 目 (包括 电子 商务 网 站 ) 都 是 用 此 架构 的 ， 并 且 至 少 已 在 线 上 稳定 运行 几 年 。 

















6.Nginx 作 为 负载 均衡 器 在 工作 中 遇 到 的 问题 
(1) 如 何 让 Nginx 负 载 均衡 器 也 支持 https? 


要 让 Nginx 支 持 https， 方 法 其 实 很 简单 ， 在 负载 均衡 器 上 开启 SSL 功 能 ， 监 听 443 端 口 (防火 墙 上 也 要 做 好 映射 ) ， 将 证 书 放 在 Nginx 负 载 均衡 器 上 (不 是 后 面 的 Web 服 务 器 ) ， 就 可 轻松 解决 此 问题 ， 
详 见 以 下 nginx.conf 配 置 文件 代码 : 








server { 
listen 443; 
Sserver name www.cn7788.com; 


ssl on; 
ssl certificate /usr/local/nginx/keys/www.cn7788.com.crt; 
ssl certificate key /usr/local/nginx/keys/www.cn7788.com.key; 


ssl protocols SSLv3 TLSv1; 


ss1_ciphers ALL: !ADH: !EXPORT56:RC4+RSA:+HIGH: +MEDIUM: ~-LOW:—SSLV2:-EXP; 
} 


(2) 如 何 让 后 端的 Apache 服 务 器 获取 客户 端的 真实 IP? 











跑 在 后 端 Apache 服 务 器 上 的 应 用 所 获取 到 的 IP 都 是 Nginx 负 载 均衡 所 在 服务 器 的 IP， 或 者 是 本 机 127.0.0.1。 大 家 查看 Apache 的 访问 日 志 ， 就 会 见 到 来 来 去 去 的 都 是 内 网 的 I|P。 虽 然 可 以 通过 Nginx 日 
志 判 断 客户 端的 !P， 但 有 些 考虑 不 周全 的 应 用 ， 例 如 Tattertools (一 款 优秀 的 博客 程序 ) 就 会 犯错 ， 在 后 台 的 访问 日 志 上 总 显示 访客 数 为 1，IP 来 自 127.0.0.1。 这 时 候 就 要 想 办 法 来 处 理 了 ， 我 们 可 以 通过 
修改 Nginx proxy 的 参数 令 后 端 应 用 获取 到 Nginx 发 来 的 请 求 报 文 并 获取 外 网 的 IP， 在 Nginx 的 配置 文件 中 记得 加 上 : 















































proxy_set_ header Host $host; 
Proxy_set header X-Real-IP $remote addr; 
Proxy_set header X-Forwarded-For $proxy add x forwarded for; 

















这 仅仅 是 让 Nginx 获 取 外 网 IP，Apache 未 必 买 账 ， 也 就 是 说 Aapche 端 同样 需要 进行 设置 ， 搜 索 发 现 Apache 有 一 个 来 自 第 三 方 的 mod (模块 ) 配合 Nginx proxy 使 用 。 下 面 简要 介绍 一 下 这 个 模块 。 

















' 模块 的 相关 说 明 : http://stderr.net/apache/rpaf/。 
“ 模块 的 下 载 地 址 : http://stderr.net/apache/rpaf/download/。 


" 最 新 版 本 为 mod_rpaf-0.6.tar.gz。 





安装 也 相当 简单 ， 具 体 方法 如 下 : 











tar zxvf mod rpaf-0.6.tar.gz 





下 载 后 解压 ， 命 令 如 下 : 


cd mod rpaf-0.6 





Apache 的 目录 按照 读者 自己 的 环境 修改 ， 并 选择 相应 的 安装 方式 ， 命 令 如 下 : 





/usr/local/apache/bin/apxs -i -c -n mod rpaf-2.0.so mod rpaf-2.0.c 





完成 后 会 在 http.conf 的 LoadModule 区 域 多 加 一 行内 容 ， 如 下 所 示 : 





LoadModule mod rpaf-2.0.so module modules/mod rpaf-2.0.so 














经 Apache 2.2.6 的 实验 证 明 ， 使 用 这 一 行 启动 Apache 的 时 候 会 报错 。 

















LoadModule rpaf module modules/mod rpaf-2.0.so 





并 在 下 方 添加 : 





RPRAFenable On 

RPAFsethostname On 

RPAFproxy ips 127.0.0.1 192.168.1.101 192.168.102 
RPAFheader X-Forwarded-For 


在 填写 Nginx 所 在 的 内 网 IP 时 ，Nginx 的 内 网 地 址 是 必 写 的 ， 不 然 一 样 会 失败 ， 另 外 ， 有 几 个 代理 服务 器 的 IP 就 写 几 个 代理 服务 器 的 IP。 





保存 退出 后 重启 Apache， 再 看 看 Apache 的 日 志 内 容 ， 应 该 已 经 很 完美 地 解决 了 这 个 问题 。 








(3) 如 何 正 确 区 分 Nginx 的 分 发 请 求 ? 











笔者 参与 某 个 小 项 目 时 ， 原 本 是 基于 Nginx 的 1+ 3 架构 ， 开 发 人 员 突 然 要 求 增加 一 台 机 器 (Windows server2003 系 统 ) 专门 存放 图 片 及 PDF 等 资料 ， 项 目 要求 能 在 Nginx 后 的 三 台 Web 机 器 上 显示 医 
片 ， 并 且 可 下 载 pdf。 当 时 有 点 不 知 所 措 ， 因 为 程序 用 的 是 Zend Framwork， 所 以 一 直 在 用 正则 表达 式 作为 跳 转 ， 后 来 才 想 明白 其 中 的 “玄机 ”，|E 程 序 先 在 Nginx 负 载 均衡 器 上 提交 申请 ， 所 以 
nginx.conf 是 在 做 分 发 而 非 正则 跳 转 ， 此 时 最 前 端的 Nginx， 既 是 负载 匀 衡 器 也 是 反 向 代理 ， 明 白 这 个 就 容易 解决 了 。 另 外 要 注意 location/Stocklnfo 与 location~^/Stocklnfo 的 差异 性 ，Nginx 默 认为 正 
则 优先 ， 顺 便 也 说 一 下 ，proxy_pass 支 持 直接 写 IP 的 方式 。Nginx 配 置 文件 的 部 分 代码 如 下 : 
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upstream mysrv { 

ip_hash; 
server 192.168.110.62; 
server 192.168.110.63; 


} 


upstream myjpg { 
server 192.168.110.3:88; 
} 


server 
{ 
listen 80; 
server name web.tfzq.com; 
Proxy redirect off; 


location ~ ^/StockInfo{ 
proxy pass http://myjpg; 
} 








总 结 : 目前 此 套 架 构 在 2000 至 5000 左 右 并 发 活动 连接 数 的 电子 商务 网 站 上 运行 非常 稳定 ， 唯 一 的 不 足 之 处 就 是 Nginx 备 机 一 直 处 于 闲置 状态 。 相 对 于 双 主 Nginx 负 载 均衡 器 而 言 ， 此 架构 比较 简单 ， 出 
现 问题 的 几率 也 较 小 ， 而 且 出 问题 时 容易 排查 ， 在 网 站 收录 方面 需要 考虑 的 问题 也 非常 少 ， 所 以 笔者 一 直 采 用 这 种 方案 。 通 过 线 上 的 观察 不 难 发 现 ，Nginx 作 为 负载 均衡 器 / 反 向 代理 也 是 相当 稳定 的 ， 可 以 
媲美 硬件 级 的 F5， 这 应 该 也 是 越 来 越 多 的 朋友 喜欢 它 的 原因 之 一 。 
























































Nginx+Keepalived 用 于 生产 环境 的 优势 有 很 多 ， 但 由 于 其 自身 的 限制 ， 它 目前 只 应 用 于 Web 集 群 环境 ， 笔 者 目前 在 通过 51CTO 和 ChinaUnix 社 区 推广 这 种 Web 级 负载 均衡 高 可 用 架构 ， 如 果 大 家 的 网 
站 或 项 目 有 这 种 需求 ， 不 妨 考虑 应 用 一 下 。 
































5.5.4 HAProxy 双 机 高 可 用 方案 之 HAProxy+Keepalived 














由 于 公司 的 注册 用 户 已 超过 800 万 ， 而 且 每 天 都 有 持续 增长 的 趋势 ， 同 时 PV/ 日 已 经 有 向 干 万 /日 靠拢 的 趋势 ， 原 有 的 Web 架 构 已 越 来 越 无 法 满足 我 们 的 需求 ， 所 以 我 们 也 考虑 上 能 抗 高 并 发 的 HAProxy 
来 作为 网 站 最 前 端的 负载 均衡 器 。 因 为 笔者 已 经 在 东莞 的 两 个 金融 项 目 上 面 成 功 实施 了 HAProxy+Keepalived 双 机 方案 ， 所 以 这 里 也 尝试 在 公司 的 CPA 电 子 广告 平台 上 使 用 这 种 负载 均衡 高 可 用 架构 ， 即 
HAProxy+Keepalived。 





















































1. 做 好 整个 环境 的 准备 工作 
两 台 服 务 器 DELL 2950 均 要 做 好 准备 工作 ， 比 如 设置 好 hosts 文 件 及 进行 NTP 对 时 。 


网 络 拓扑 很 简单 ， 如 下 所 示 : 








hal.offer99.com eth0:203.93.236.145 
ha2.offer99.com eth0:203.93.236.142 














卡 用 其 自 带 的 干 兆 网 卡 即 可 。 











硬盘 模式 没有 要 求 ，RAID0 或 RAID1 均 可 。 








网 站 对 外 的 VIP 地 址 : 203.93.236.149， 这 是 通过 Keepalived 来 实现 的 ， 原 理 请 参考 前 面 的 章节 ， 这 也 是 网 站 的 外 网 DNS 对 应 的 IP。 














在 这 里 ，HAProxy 采 用 七 层 模式 ，Frontend (前 台 ) 根据 任意 HTTP 请 求 头 内 容 做 规则 匹配 ， 然 后 把 请 求 定向 到 相关 的 Bankend (后 台 ) 。 











2.HAProxy 和 Keepalived 的 安装 过 程 









































关于 此 安装 过 程 ， 请 大 家 参考 前 面 的 内 容 ， 当 时 用 的 是 HAProxy 最 新 版 本 1.4.18， 需 要 注意 一 下 语法 跟 新 版 HAProxy 的 区 别 。 这 里 就 不 重复 了 ， 主 要 是 注意 关键 位 置 的 改动 。 























1) 首先 在 两 台 负 载 均衡 机 器 上 启动 HAProxy， 命 令 如 下 所 示 : 





/usr/local/haproxy/sbin/haproxy -c -q -f 
/usr/local/haproxy/conf/haproxy.cfg 

















启动 HAProxy 程 序 后 ， 我 们 又 修改 了 haproxy.cfg 文 件 ， 可 以 用 如 下 命令 平滑 重启 HAProxy 使 新 配置 文件 生效 ,命令 如 下 所 示 : 

















所 示 : 
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.conf -st ‘cat /usr/local/haproxy/haproxy.pid 














注 : 新 版 的 HAProxy 支 持 reload 命 令 ， 即 大 家 可 以 使 用 service haproxy reload 命 令 重 载 HAProxy。 






































2) 这 里 将 网 站 生产 环境 下 的 配置 文件 /usr/local/haproxy/conf/haproxy.cfg 举 例 说 明 ， 其 具体 内 容 如 下 所 示 (两 台 HAProxy 机 器 的 配置 内 容 一 样 ) : 





global 
maxconn 65535 
chroot /usr/local/haproxy 
1 二 人 
gid 99 
#maxconn 4096 
spread-checks 3 
daemon 
nbproc 1 
pidfile /usr/local/haproxy/haproxy.pid 


defaults 
log i local3 
mode http 
option httplog 
option httpclose 
option dontlognull 
option forwardfor 
option redispatch 
retries 10 
maxconn 2000 
stats uri /haproxy-stats 
stats auth admin:admin 


contimeout 5000 
clitimeout 50000 
srvtimeout 50000 


frontend HAProxy 
bind *:80 
mode http 
option httplog 
acl cache domain path end .css .js .gif .png .swf .jpg .jpeg 
acl cache dir path reg /apping 
acl cache jpg path reg /theme 
acl bugfree domain path reg /bugfree 
use backend varnish.offer99.com if cache domain 
“use backend varnish.offer99.com if cache dir 
use backend varnish.offer99.com if cache jpg 
use backend bugfree.offer99.com if bugfree domain 
default backend www.offer99.com 


backend bugfree.offer99.com 
Server bugfree 222.35.135.151:80 weight 5 check inter 2000 rise 2 fall 3 


backend varnish.offer99.com 
server varnish 222.35.135.152:81 weight 5 check inter 2000 rise 2 fall 3 


backend www.offer99.com 
balance source 
option httpchk HEAD /index.php HTTP/1.0 
Server webl 222.35.135.154:80 weight 5 check inter 2000 rise 2 fall 3 
Server web2 222.35.135.155:80 weight 5 check inter 2000 rise 2 fall 3 





将 HAProxy 的 配置 文件 正则 情况 稍 作 说 明 : 





acl cache domain path end .css .js .gif .png .swf .jpg .jpeg 














以 上 语句 的 作用 是 将 .css、.js 以 及 图 片 类 型 文件 定义 成 cache_domain。 


























acl cache dir path reg /apping 
acl cache jpg path reg /theme 














以 上 两 句 话 的 作用 是 定义 静态 页 面 路 径 ，cache_dir 和 cache jpg 是 自 定义 的 名 字 。 











use_backenq varnish.offer99.com if cache domain 
use_backend varnish.offer99.com if cache dir 
use_ backend varnish.offer99.com if cache jpg 





如 果 满 足以 上 文件 后 缀 名 或 目录 名 ， 则 HAProxy 会 将 客户 端 请 求 定向 到 后 端的 varnish 缓 存 服务 器 varnish.offer99.com 上 。 





acl bugfree domain path reg /bugfree 
use_backend bugfree.offer99.com if bugfree domain 





以 上 两 句 话 的 配置 文件 是 将 bugfree 专 门 定义 一 个 静态 域 ， 如 果 客 户 端 有 bugfree 的 请 求 ， 则 专门 定向 到 后 端的 222.35.135.151 机 器 上 。 





default backend www.offer99.com 





如 果 客 户 端的 请 求 都 不 满足 上 述 条 件 ， 则 分 发 到 后 端的 两 台 Apache 服 务 器 上 。 


建议 配置 文件 将 写成 这 种 Frontend (前 台 ) 和 Backend (后 台 ) 的 形式 ， 方 便 我 们 根据 需求 利用 HAProxy 的 正则 做 成 动静 分 离 或 根据 特定 的 文件 名 后 缀 (比如 .php 或 jsp) 访问 指定 的 phppool 池 或 
javapool 池 (其实 就 是 php 或 java 集 群 ) 。 我 们 还 可 以 指定 静态 服务 器 池 ， 让 客户 端 对 静态 文件 (比如 bmp 或 jsp 或 html) 访问 我 们 的 Varnish 缓 存 服务 器 集群 ， 这 就 是 大 家 常 说 的 动静 分 离 功能 (Nginx 也 
能 实现 此 项 功能 ) ， 所 以 前 后 台 的 模型 是 非常 有 用 的 。 





















































更 多 配置 可 以 参考 HAProxy 的 官方 说 明 ， 下 面 是 HAProxy 1.4 的 一 些 常用 配置 ， 这 些 配 置 可 以 实现 HAProxy 的 一 些 常 用 功能 。 大 家 在 编写 自己 的 HAProxy 配 置 文件 时 ， 可 以 对 比 参考 此 配置 文档 。 


























配置 的 具体 实例 如 下 所 示 : 





global 











全 局 的 日 志 配 置 ， 其 中 日 志 级 别 是 [err warning info debug]。 


local3 是 日 志 设 备 ， 必 须 为 如 下 24 种 标准 syslog 设 备 的 一 种 : 





kern、user、mail、qdaemon、auth、syslog、1Pr、news 
uucp、 cron、 auth2、 ftp、 ntp、 audit、 alert、 cron2 
local0、1locall、local2、1local3、local4、1local5、local6、1local7 





这 里 推荐 local3， 日 志 设 备 格式 如 下 : 





1og 127.0.0.1 local3 info #[err warning info debug] 





此 为 最 大 连接 数 : 








maxconn 4096 

















用 户 (推荐 用 haproxy 用 户 ) : 














user nobody 











用 户 组 (推荐 用 haproxy 用 户 组 ) : 

















group nobody 





使 HAProxy 进 程 进入 后 台 运 行 ， 这 是 推荐 的 运行 模式 : 





daemon 





创建 4 个 进程 进入 deamon 模 式 运 行 。 此 参数 要 求 将 运行 模式 设置 为 “daemon”: 





nbproc 4 





将 所 有 进程 的 pid 写 入 文件 ， 启 动 进程 的 用 户 必 须 有 访问 此 文件 的 权限 : 








pidfile /home/admin/haproxy/1ogs/haproxy.pid 
defaults 





默认 模式 mode 有 3 个 参数 值 可 选 : {tcp|httplhealth}，tcp 是 4 层 ，http 是 7 层 ，health 只 会 返回 OK， 这 里 大 家 可 以 根据 实际 情况 选择 : 





mode http 





采用 http 日 志 格 式 : 





option httplog 





三 次 连接 失败 就 认为 是 服务 器 不 可 用 ， 也 可 以 通过 后 面 进行 设置 : 





retries 3 





如 果 Cookie 写 入 了 ServerlD 而 客户 端 不 会 刷新 Cookie， 待 ServerID 对 应 的 服务 器 挂 掉 后 ， 将 强制 定向 到 其 他 健康 的 服务 器 上 : 





option redispatch 





当 服 务 器 负载 很 高 的 时 候 ， 自 动 结束 掉 当 前 队列 处 理 较 久 的 链接 : 





option abortonclose 





默认 的 最 大 连接 数 : 





maxconn 4096 





表示 连接 超时 : 





contimeout 5000 





表示 客户 端 超时 : 





clitimeout 30000 





表示 服务 器 超时 : 





srvtimeout 30000 





表示 心跳 检测 超时 : 





timeout check 1000 





人 @ 柱 -此 参数 值 为 时 间 ， 比 如 说 timeout。 通 常 时间 值 的 单位 为 毫秒 (ms) ， 也 可 以 通过 加 # 后 级 来 使 用 其 他 单位 。 


下 面 是 统计 页 面 的 配置 : 





listen admin stats 





监听 端口 : 





bind 0.0.0.0:1080 





http 的 7 层 模 式 : 





mode http 





日 志 设 置 : 





log 127.0.0.1 local0 err #[err warning info debugl] 





统计 页 面 自动 刷新 时 间 : 





stats refresh 30s 





统计 页 面 的 url: 





stats uri /admin stats 





统计 页 面 密码 框 上 的 提示 文本 : 





stats realm Gemini\ Haproxy 





统计 页 面 用 户 名 和 密码 设置 : 





stats auth admin:admin101 





隐藏 统计 页 面 上 HAProxy 的 版 本 信息 : 





stats hide-version 





下 面 是 网 站 检测 的 listen 定 义 : 


网 站 健康 检测 URL， 用 于 检测 HAProxy 管 理 的 网 站 是 否 可 | 




















， 它 是 依靠 检查 后 端 Web 服 务 器 是 否 存在 index.php 来 判断 后 端 主机 是 否 挂 掉 。 如 果 后 端的 所 有 Web 机 器 上 均 没有 index.php 或 全 部 挂 掉 ， 


那么 我 们 访问 HAProxy 主 机 地 址 ， 例 如 http://192.168.1.103 时 ， 浏 览 器 就 会 返回 如 下 报错 信息 : 





503 Service Unavailable, No server is available to handle this request 





网 站 检测 的 listen 格 式 为 : 





listen web proxy 192.168.1.103:80 





关于 监听 的 其 他 配置 选项 HAProxy 本 身 已 默认 做 好 ， 建 议 不 要 太 多 人 为 干预 。 


下 面 是 frontend 配 置 : 





frontend http 80 in 





监听 端口 : 





bind 0.0.0.0:80 





http 的 7 层 模 式 : 





mode http 








应 用 全 局 的 日 志 配 置 : 





log global 





启用 http 的 log: 





option httplog 





每 次 请 求 完毕 后 主动 关闭 http 通 道 ，HA-Proxy 不 支持 keep-alive 模 式 : 





option httpclose 





如 果 后 端 服务 器 需要 获得 客户 端的 真实 IP， 则 需要 配置 此 参数 ， 以 便 从 Http Header 中 获得 客户 端 IP : 





option forwardfor 





下 面 是 HAProxy 的 日 志 记录 内 容 配置 : 





Capture 
Capture 
Capture 
Capture 
Capture 
Capture 


request header Host len 40 

request header Content-Length len 10 
request header Referer len 200 
response header Server len 40 
response header Content-Length len 10 
response header Cache-Control len 8 





下 面 是 ACL 的 策略 定义 。 





如 果 请 求 的 域名 满足 正则 表达 式 ， 返 回 true，-i 表 示 忽 略 大 小 写 : 





acl denali policy hdr reg (host) -i ^ (www.gemini.taobao.net|my.gemini.taobao.net|auctionl.gemini.taobao.net)$ 





如 果 请 求 域名 满足 trade.gemini.taobao.net， 返 回 true，-i 表 示 和 忽略 大 小 写 : 





acl tm policy hdr dom (host) -i trade.gemini.taobao.net 





如 果 在 请 求 url 中 包含 sip_apiname=， 则 此 控制 策略 返回 true， 否 则 为 false: 





acl invalid req url sub -i sip apiname= 








如 果 在 请 求 url 中 存在 timetask 作 为 部 分 地 址 路 径 ， 则 此 控制 策略 返回 true， 否 则 返 


false: 





回 











acl timetask req url dir -i timetask 








当 请 求 的 header 中 Content-length 等 于 0， 返 





回 





true: 








acl missing cl hdr cnt (Content-length) eq 0 





下 面 是 与 ACL 策 略 匹配 的 相应 配置 。 








回 


当 请 求 的 Header 中 Content-length 等 于 0， 阻 止 请 求 返回 403 : 














block if missing cl 

















block 表 示 阻 止 请 求 ， 返 回 403 错 误 ， 如 果 不 满足 策略 invalid_req， 或 者 满足 策略 timetask_req， 则 阻止 请 求 : 








block if !invalid req || timetask req 














当 满 足 denali_policy 策 略 时 使 用 denali_server 的 backend: 











use backend denali server if denali policy 











当 满 足 tm_policy 策 略 时 使 用 tm_server 的 backend: 














use backend tm server if tm policy 





reqisetbe 关 键 字 定义 ， 根 据 定义 的 关键 字 选 择 backend: 





reqisetbe ^Host:\ img dynamic 
reqisetbe ^[^\ ]*\ /(imglcss)/ dynamic 
reqisetbe ^[^\ ]*\ /admin/stats stats 








以 上 都 不 满足 的 时 候 使 用 默认 mms_server 的 backend: 





default backend mms_server 








HAProxy 的 错误 页 面 设置 如 下 所 示 : 

















errorfile 400 /home/admin/haproxy/errorfiles/400.http 
errorfile 403 /home/admin/haproxy/errorfiles/403.http 
errorfile 408 /home/admin/haproxy/errorfiles/408.http 
errorfile 500 /home/admin/haproxy/errorfiles/500.http 
errorfile 502 /home/admin/haproxy/errorfiles/502.http 
errorfile 503 /home/admin/haproxy/errorfiles/503.http 
errorfile 504 /home/admin/haproxy/errorfiles/504.http 





下 面 是 backend 的 设置 : 





backend mms_server 








http 的 7 层 模 式 : 





mode http 





负载 均衡 的 方式 ，roundrobin 平 均 方式 : 





balance roundrobin 





允许 插入 ServerlD 到 Cookie 中 ，Serverld 在 后 面 可 以 定义 : 





Cookie SERVERID 














心跳 检测 的 URL，HTTP/1.1 和 Host:XXXX 指 定 了 心跳 检测 的 HTTP 版 本 ，XXX 为 检测 时 请 求 服务 器 的 request 中 的 域名 ， 如 果 在 应 用 的 检测 URL 对 应 的 功能 中 有 对 域名 依赖 的 话 ， 需 要 如 下 设置 : 











option httpchk GET /member/login.jhtml HTTP/1.1\r\nHost:memberl .gemini.taobao.net 











服务 器 定义 ，cookie 1 表示 serverid 为 1，check inter 1500 是 检测 心跳 频率 。rise 3 是 3 次 正确 ， 认 为 服务 器 可 用 ; fall 3 是 3 次 失败 ， 认 为 服务 器 不 可 用 。weight 代 表 权 重 : 











Tun 








server mmsl 10.1.5.134:80 cookie 1 check inter 1500 rise 3 fall 3 weight 1 
SerVer mms2 10.1.6.118:80 cookie 2 check inter 1500 rise 3 fall 3 weight 2 
backend denali server 

mode http 





负载 均衡 的 方式 ，source 根 据 客户 端 |P 进 行 哈 希 的 方式 : 





balance Source 








如 果 设 置 了 backup， 默 认 第 一 个 backup 优 先 ， 设 置 option allbackups 后 所 有 备份 服务 器 的 权 : 








option allbackups 





心跳 检测 URL 设 置 : 





option httpchk GET /mytaobao/home/my taobao.jhtml HTTP/1.1\r\nHost:my.gemini.taobao.net 




















可 以 根据 机 器 性 能 的 不 同 ， 不 使 用 默认 的 连接 数 配置 而 使 用 自己 的 特殊 连接 数 配置 ， 比 如 minconn 10 maxconn 20: 








server denlail 10.1.5.114:80 minconn 4 maxconn 12 check inter 1500 rise 3 fall 3 
server denlai2 10.1.6.104:80 minconn 10 maxconn 20 check inter 1500 rise 3 fall 3 

















备份 机 器 的 配置 ， 正 常情 况 下 不 会 使 用 备份 机 ， 当 主机 的 全 部 服务 器 都 down 的 时 候 才 会 启用 : 





server dnali-backl 10.1.7.114:80 check backup inter 1500 rise 3 fall 3 
server dnali-~back2 10.1.7.114:80 check backup inter 1500 rise 3 fall 3 
backend tm server 

mode http 





负载 均衡 的 方式 ，leastconn 根 据 服务 器 当前 的 请 求 数 ， 取 当前 请 求 数 最 少 的 服务 器 : 





balance leastconn 

option httpchk GET /trade/itemlist/prepayCard.htm HTTP/1.1\r\nHost:trade.gemini.taobao.ne 
server tml 10.1.5.115:80 check inter 1500 rise 3 fall 3 

server tm2 10.1.6.105:80 check inter 1500 rise 3 fall 3 




















下 面 是 reqisetbe 自 定义 的 关键 字 匹 配 backend 的 部 分 : 





backend dynamic 

mode http 

balance source 

option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net 
server denlail 10.3.5.114:80 check inter 1500 rise 3 fall 3 
server denlai2 10.4.6.104:80 check inter 1500 rise 3 fall 3 
backend stats 

mode http 

balance source 

option httpchk GET /welcome.html HTTP/1.1\r\n Host:www.163.com 
server denlail 10.5.5.114:80 check inter 1500 rise 3 fall 3 
server denlai2 10.6.6.104:80 check inter 1500 rise 3 fall 3 





参考 文档 : http://haproxy.1wt.eu/http://haproxy.1wt.eu/download/1.4/doc/configuration.txt。 























Keepalived 的 配置 过 程 比较 简单 ， 这 里 略 过 ， 大 家 可 以 参考 前 面 的 配置 ， 配 置 成 功 后 可 以 分 别 在 两 台 机 器 上 启动 HAProxy 及 Keepalived 服 务 ， 主 机 上 Keepalived.conf 配 置 文件 内 容 如 下 : 





! Configuration File for keepalived 
global defs { 
notification email { 
yuhongchun027@163.com 
} 
notification email from sns-lvs@gmail .com 
smtp_server 127.0.0.1 
router id LVS_DEVEL 
} 
vrrp instance VI 1 { 
state MASTER 
interface eth0 
virtual router id 51 
priority 100 
advert int 1 
authentication { 
auth type PASS 
auth pass 1111 


virtual ipaddress { 
203.93.236.149 
} 





3. 替 HAProxy 添 加 日 志 支持 


编辑 /etc/syslog.conf 文 件 ， 添 加 内 容 如 下 : 





local3,.* /var/1log/haproxy.10og 
local0.* /var/1log/haproxy.10g 





编辑 /etc/sysconfig/syslog 文 件 ， 修 改 内 容 如 下 : 





SYSLOGD OPTIONS="-r -m 0" 











启 syslog 服 务 ， 命 令 如 下 : 





service syslog restart 











在 这 里 有 一 点 需要 说 明 ， 在 实际 的 生产 环境 下 ， 开 启 HAProxy 日 志 功 能 是 需要 硬件 成 本 的 ， 它 会 消耗 大 量 的 CPU 资源 导致 系统 速度 变 慢 (这 点 在 硬件 配置 较 弱 的 机 器 上 表现 尤其 突出 ) ， 如 果 不 需要 开 


启 HAProxy 日 志 功 能 的 朋友 可 以 选择 关闭 ， 大 家 应 根据 实际 需求 选择 是 否 开启 HAProxy 日 志 。 当 时 线 上 采用 的 机 器 类 型 为 DELL 2950， 机 器 CPU 性 能 有 些 偏 弱 ， 上 线 以 后 我 们 关闭 了 HAProxy 日 志 。 


4 验证 此 架构 及 注意 事项 


我 们 可 以 关闭 主 HAProxy 机 器 或 重新 启动 ， 查 看 此 过 程 中 VIP 地 址 是 否 正确 转移 到 从 HAProxy 机 器 上 ， 是 否 影响 我 们 访问 网 站 。 以 上 步骤 笔者 测试 过 多 次 ， 而 且 线 上 环境 的 稳定 运行 证 明 


HAProxy+Keepalived 双 机 方案 确实 是 有 效 的 。 











关于 HAProxy+Keepalived 这 种 负载 均衡 高 可 用 架构 ， 有 些 情况 需要 说 明 一 下 : 











“ 在 此 HAProxy+Keepalived 负 载 均衡 高 可 用 架构 中 ， 我 们 是 如 何 解决 Session 共 享 的 问题 呢 ? 在 这 里 采用 的 是 它 自身 的 balance source 机 制 ， 它 跟 Nginx 的 ip_hash 机 制 原理 类 似 ， 是 让 客户 机 访问 时 始终 访问 


后 端的 某 一 台 真 实 的 Web 服 务 器 ， 这 样 可 使 Session 固 定 下 来 。 这 里 我 们 为 了 节约 机 器 成 本 ， 没 有 采用 memcached 或 redis 作 为 session 共 享 机 器 。 


“ 健康 检测 机 制 ， 大 家 可 以 看 下 面 这 行 代码 : 





option httpchk HEAD /index.php HTTP/1.0 





这 行 代码 的 作用 是 进行 网 页 监控 ， 如 果 HAProxy 检 测 不 到 Web 的 根 目录 下 没有 indexjsp， 就 会 产生 503 报 错 。 
5.HAProxy 的 监控 页 面 


可 以 在 地 址 栏 内 输入 http://www.offer99.com/haproxy-stats/， 输 入 用 户 名 和 密码 后 ， 显 示 界 面 如 图 5-9 所 示 (HAProxy 自 带 的 监控 页 面 ， 这 是 笔者 非常 喜欢 的 功能 之 一 ) 。 


HAProxy version 1.4.18, released 2011/09/16 
Statistics Report for pid 25382 


> General process information 


active UP 


pid = 25382 (procsss #1, nbproc = 1) 


uptime = 0d Sh14m22s active UP, going down 
system limits: memmax = unlimited; ulimit-n = 131085 active DOWN,. going up 


maxsock = 131085; maxconn = 65535; maxpipes =0 
current conns = 176; current pipes = 0/0 


active cor bacup DOWN 


Running tasks: 1/180 active or baceup DOWN 
Note: UP with load-balancing 


HAProxy 


bugfree.offer99.com 


oe lo a ol So | ol Sl 3 Ma Ma 5| 0g | 


varnish_offer993_com 


图 5-9 HAProxy 自 带 的 监控 页 面 


人 洁 “Session mte” 的 “Cur” 选 项 可 以 反映 网 站 的 即时 并 发 数 ， 这 个 是 读者 最 关心 的 选项 之 一 ， 大 家 还 可 以 利用 此 监控 页 面 关注 Web 服 务 器 的 存活 信息 等 ， 相 当 实用 。 





此 套 集 群 方案 上 线 几 年 了 ，HAProxy 负 载 均衡 机 器 跑 得 相当 稳定 ， 在 新 广告 上 线 (高 流量 高 并 发 ) 的 情况 下 基本 没 出 现 过 宕 机 现象 ， 所 以 我 也 没有 像 Nginx+ Keepalived 那 样 做 HAProxy 服 务 级 别 的 监 


控 了 ， 仅 仅 做 了 双 机 的 Keepalived， 以 免 单机 服务 器 硬件 故障 。 如 果 大 家 想 在 生产 环境 下 实施 HAProxy+Keepalived， 可 以 参考 此 文档 来 进行 部 署 实施 


5.5.5” 巧 用 DNS 轮 询 作 负载 均衡 











笔者 目前 正在 维护 的 DSP 大 型 广告 平台 ， 用 的 是 纯 AWS 云 平台 环境 ， 业 务 高 峰 期 时 有 十 几 万 并 发 量 ，3 万 左右 的 QPS， 不 仅 Web 层 面 ， 后 面 的 数据 库 和 redis 缓 存 数据 库 也 面临 着 
流量 和 并 发 量 ， 只 能 采用 分 布 式 的 思路 来 解决 。 














巨大 压力 。 这 么 























































































































































































































第 一 个 方案 是 采用 CDN 的 方式 来 解决 压力 的 问题 。 但 由 于 DSP 业 务 的 特殊 性 质 ，3 万 多 QPS 请 求 基本 都 是 动态 请 求 ， 而 非 静态 图 片 或 CSS 等 静态 请 求 。 所 以 前 端 放 置 CDN 的 方案 不 可 行 。 

第 二 个 方案 是 利用 AWS EC2 机 器 将 其 作为 HAProxWNginx 承 担 分 流 的 作用 ， 这 里 也 有 一 个 问题 解决 不 了 。 虽 然 AWS EC2 机 器 性 能 卓越 ， 但 它们 是 共享 带宽 的 ， 所 以 网 络 性 能 还 是 有 影响 的 。 就 算 我 们 
采用 最 好 的 AWS EC2 机 器 ， 入 口 带宽 也 不 可 能 超过 100M 的 。 而 3 万 QPS， 假 设 单个 请 求 的 数据 在 10KB 左 右 ， 那 么 就 是 300MB/s， 所 以 这 样 的 意义 不 大 。 如 果 用 AWS EC2 机 器 作为 LB 提 供 网 站 入 口 ， 肯 定 
有 大 量 丢 包 和 timeout 现 象 发 生 ， 这 个 从 业务 层面 来 说 ， 肯 定 也 接受 不 了 ， 所 以 此 方案 否决 。 

第 三 个 方案 是 采用 AWS 本 身 提供 的 Elastic Load Balancing 服 务 ， 就 服务 本 身 而 言 是 没什么 问题 的 ， 而 且 价 格 方面 也 比较 实惠 。 按 照 AWS 的 官方 介绍 ， 以 美国 东部 (弗吉尼亚 北部 ) 举例 来 说 ， 具 体 价 
格 是 $0.008/GB。 如 果 该 Elastic Load Balancer 在 30 天 的 期 间 内 最 终 传输 了 100GB 数 据 流量 ， 则 该 月 Elastic Load Balancer 使 用 小 时 数 费 用 总 额 为 18 USD ( 即 每 小 时 0.025USDx 每 天 24 小 时 x30 天 x1 个 


Elastic Load Balancer) ， 通 : 


过 Elastic Load Balancer 传 输 的 数 # 





居 流 量 费 用 总 额 为 0.80USD ( 即 每 GB 0.008USDx100GB) ， 该 






























































远 不 止 100GB。 长 此 以 往 ，Elastic Load Balancing 服 务 的 费用 也 是 一 笔 不 菲 的 开销 ， 会 大 大 增加 网 站 的 运营 成 本 开销 。 
能 不 能 找到 一 种 最 节约 而 性 价 比 又 高 的 负载 均衡 方案 呢 ? 最 后 我 们 想到 了 用 DNS 轮 询 的 方案 ， 用 的 是 PowerDNS: 


便 。 


PowerDNS 是 高 性 能 的 域名 服务 器 ， 




















ruby-pdns 是 一 个 简单 的 Ruby 库 ， 用 了 




















module Pdns 
newrecord ("www.your.net") do |query, answer| 
case country (query[:remoteip]) 

when "US", "CA" 
answer.content "64.xx.xx.245" 





"gw" 
content 


when "ZA", 


answer. "196.xx.xx.10" 
else 

answer 
end 


.Content "78.xx.xx.140"™ 


end 
end 

















工作 中 采用 它 的 





原因 是 : 修改 PowerDNS 记 录 是 即时 生效 的 ， 












































户 访问 速度 ， 提 升 








体验 ， 代 码 如 下 所 示 : 





newrecord ("bid-east .example.net") do |query, answer| 
ips = ["54.175.1.2", "54.164.1.2", "52.6.1.2","54.164. 
由 Yqder 机 器 大 约 202 i 左 右 ， 公 网 TP 作 了 匹 害处 理 
ips = ips.randomize([1，1，1，1，1，1，1， 
anSwer .Shuffle false 
answer.ttl 30 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 

end 


1]) 


module Pdns 
newrecord ("ads.bilinmedia.net") do |query, answer| 
country , region = country (query[:remoteip]) 
answer.qclass query[:qclass] 
answer.qtype :A 
Case Country 
when "US" 
case region 
when 
# 东 部 地 
answer. 
answer. 
else 
# 西 部 地 区 用 户 访 问 西部 
answer.ttl 300 
answer.content 
end 
else 
# 如 果 用 户 IP 都 不 在 上 面 的 城市 ， 
answer.ttl 300 
answer.content 





片 服务 器 
es 
片 服 务 器 


194.67.T228 


区 用 户 访问 东部 医 
ttl 300 


content 2 














图 


ME 
end 
end 
end 


DNS 轮 询 主要 靠 如 下 代码 实现 : 





newrecord ("bid-east .example.net") do |query, answer| 
ips = ["54.175.1.2", "54.164.1.2", 
#bidder 机 器 大 约 20 台 左右 ， 公 网 ITP 作 了 无 害处 理 
ips.= ips,randomize([l, 1 1y .Jy lr 1y 1y 
answer.shuffle false 
answer.ttl 30 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 
answer.content i 

end 


1]) 








我 们 可 以 











dig 命 令 解 析 下 bid-east.example.com 域 ， 命 令 如 下 : 





dig bid-east .example.com 


命令 如 下 所 示 : 


于 PowerDNS 的 DNS 记录 应 用 ， 


W25061.2" "540164. 





























它 将 复杂 的 DNS 操作 过 : 






































月 的 总 费 





源 软件 和 ruby-pdns。 


除了 支持 普通 的 Bind 配 置 文件 ， 还 可 以 从 MySQL、Oracle、PostgreSQL 等 数据 库 读 取 数 据 。PowerDNS 安 装 了 Poweradmin， 











但 封装 起 来 并 提供 简单 易 


























无 需 重 启 PowerDNS 服 务 。 在 此 业务 系统 中 ， 笔 者 还 











其 搭建 简单 的 类 CDN 系 统 ， 方 便 美 





1.2", 


则 选择 默认 的 西部 机 器 


1.2", 


;? <<>> DiG 9.3.6-P1-ReqHat-9.3.6-20.P1.e15 8.6 <<>> bid-east.bilinmedia.net 


77 global options: 
77 Got answer: 

7 7 ->>HEADER<<- opcode: QUERY, status: 
?7 flags: qr rd ra; OUERY: 1, 


printcmd 


NOERROR, id: 36017 


77 QUESTION SECTION: 
;bid-east .bilinmedia.net.INA 


ANSWER: 8, AUTHORITY: 1, ADDITIONAL: 1 


Me Ba fe a AAS Se Le Pe I lhe Pa Be A 


VAs175. L234.175013" 0 "54 75 1 4 "D234 12. 


a 


] 


的 方法 ， 


为 18.80USD。 但 在 我 人 


示例 代码 如 下 : 


] 的 业务 高 峰 期 间 ， 每 天 传输 的 数据 流量 














东西 部 客户 就 近 连 接 业 务 | 

















区 








"WTI", "IL", "TN", "MS", "ID"™, "KY", "AL", "OH", nWVn "VA", "NC™, "SC™, "GA™, "FL", nNY PR "ME™, VT", "NH™, "MA", "RI™, "CT™, "NJ", "DE", "MD", "DC™ 


远 


能 实现 Web 管 理 DNS 记 录 ， 非 常 方 


片 机 器 ， 加 快 


77 ANSWER SECTION: 
bid-east.bilinmedia.net. 30INA54.175. 
bid-east.bilinmedia.net. 30INA54.164. 
bid-east.bilinmedia.net. 30INA52.6.1 
bid-east.bilinmedia.net. 30INA54.164. 
bid-east.bilinmedia.net. 30INA54.175. 
bid-east .bilinmedia.net. 30INA54.175. 
bid-east.bilinmedia.net. 30INA54.175. 
bid-east.bilinmedia.net. 30INA52.4.1. 


DD 


ID 上 FF 
心 w ND N 


77 AUTHORITY SECTION : 
biq-east.bilinmedia.net。.1799INNSns.bilinmedia.net. 


277 ADDITIONAL SECTION : 
ns.bilinmedia.net.599INA54.173.66.112 


;; Query time: 1530 msec 

77 SERVER: 10.143.22.116#53(10.143.22.116) 
77 WHEN: Thu Jan 14 09:55:23 2016 

77 MSG SIZE rcvd: 202 














这 样 配置 以 后 ， 观 察 业务 最 繁忙 的 时 间 段 可 知 : 20 台 bidder 机 器 ，Nginx+Lua 作 为 Web 服 务 器 ， 平 均 每 台 的 活动 连接 数 在 20000 ~ 22000 左 右 ， 流 量 被 平均 分 担 下 去 ， 达 到 了 负载 均衡 的 目的 。 我 们 可 

















以 用 Ansible 工 具 抽 取 空 闲 时 间 (晚上 凌晨 2 点 左右 ) bidder 集 群 机 器 的 活动 连接 数 情况 ， 命 令 如 下 所 示 : 


























ansible bidder -m script -a "/home/ec2-user/counter.sh" 


结果 如 下 所 示 : 


bidqer1 | SUCCESS => { 
"changed": true, 
"OO 
"stderr™: nm， 
"stdout": "FIN WAIT] 13,ESTABLISHED 3193,LISTEN 6\r\n", 
"stdout lines": [ 
"FIN WAIT1 13,ESTABLISHED 3193,LISTEN 6" 
] 
} 


bidder2 | SUCCESS => { 
"changed": true, 
i 
"stderr":; 
"stdout": "TIME WAIT 1,FIN WAIT] 9,ESTABLISHED 3175,SYN RECV 2,LISTEN 8\r\n", 
"stdout lines": [ 

"TIME, WAIT 1,FIN WAIT1 9,ESTABLISHED 3175,SYN RECV 2,LISTEN 8" 

] 

} 


bidqer4 | SUCCESS => { 
"changed": true, 
een 
"stderr"; 
"stdout": "FIN WAIT] 15,ESTABLISHED 3176,LISTEN 6\r\n", 
"stdout lines": [ 

"FIN WAIT1 15,ESTABLISHED 3176,LISTEN 6" 

] 


} 

bidqer5 | SUCCESS => { 
"changed": true, 
i 
"stderr": 
"stdout": "TIME WAIT 1,FIN WAIT]1 10,FESTABLISHED 3262,LISTEN 6\r\n", 
"stdout lines": [ 

"TIME, WAIT 1,FIN WAIT1 10,ESTABLISHED 3262,LISTEN 6" 

] 


} 

bidder3 | SUCCESS => { 
"changed": true, 
NE 
"etderr™: 
"stdout": "TIME WAIT 2,FIN WAIT] 15,ESTABLISHED 3857,LISTEN 6\r\n", 
"stdout lines": [ 

"TIME WAIT 2,FIN WAIT]1 15,ESTABLISHED 3857,LISTEN 6" 

] 


} 

bidder7 | SUCCESS => { 
"changed": true, 
a 
"stderr";: 
"stdout": "FIN WAIT] 7,ESTABLISHED 2821,LISTEN 6\r\n", 
"stdout lines": 

"FIN WAIT1 7,ESTABLISHED 2821,LISTEN 6" 

] 


} 

bidder6 | SUCCESS => { 
"changed": true, 
Wen 0 
"stderr"; 
"stdout": "TIME WAIT 1,FIN WAIT1 8,ESTABLISHED 3239,LISTEN 6\r\n", 
"stdout lines": [ 

"TIME WAIT 1,FIN WAIT]1 8,ESTABLISHED 3239,LISTEN 6" 

] 


} 

bidder8 | SUCCESS => { 
"changed": true, 
a 
"stderr":; 
"stdout": "TIME WAIT 1,FIN WAIT1 7,ESTABLISHED 3238,LISTEN 6\r\n", 
"stdout lines": [ 

"TIME WAIT 1,FIN WAIT1 7,ESTABLISHED 3238,LISTEN 6" 

] 


1 


本 


1 


1 


1 


1 


了 

















Nginx 的 活动 并 发 连接 数 基 本 上 比较 平均 ， 维 持 在 3200 ~ 3800 左 右 ， 证 明 流 量 是 平均 分 配 下 来 的 ，P-dns 轮 询 功能 是 生效 的 ， 业 务 繁 忙 的 时 候 通过 ruby-pdns 修 改 其 配置 文件 ， 动 态 地 添加 bidder 业 ' 务 





机 器 ， 就 可 以 轻松 进行 水 平 扩展 了 。 


5.5.6 ” 百 万 级 PV 高 可 用 网 站 架构 设计 





在 许多 小 公司 和 小 企业 ， 尤 其 是 涉及 电子 广告 和 电子 资讯 类 的 网 站 ， 其 网 站 的 日 PV 不 超过 500 万 ,注册 




















户 数 也 并 不 多 ， 即 使 在 高 峰 期 ， 网 站 的 并 发 连接 数 也 并 不 高 。 但 由 于 其 重要 性 ， 也 会 要 求 网 站 
































具 









































首先 是 机 房 的 选择 ， 如 果 公 司 有 自己 的 机 房 是 最 好 的 ， 如 果 没 有 自己 的 机 房 ， 建 议 大 家 放 在 BGP 机 房 内 




















备 负载 均衡 高 可 用 的 特点 。 另 一 方面 ， 由 于 成 本 的 制约 ， 公 司 都 会 要 求 系统 架构 师 设计 的 方案 用 最 少 的 预算 实现 这 个 











毛管 ， 如 果 有 选择 的 话 ， 最 好 是 选择 带 有 硬件 防火 墙 的 BGP 机 


求 ， 那 么 作为 系统 架构 设计 师 的 我 们 ， 应 该 如 何 实现 这 个 要 求 呢 ? 





房 ( 可 以 帮忙 防御 部 分 DDos 攻 


击 ) ， 这 样 在 安全 方面 也 有 保障 。 另 外 ， 该 如 何 选择 服务 器 呢 ? 在 有 了 负载 均衡 高 可 用 的 集群 环境 后 ， 我 们 完全 可 以 自己 组 装 服务 器 ， 这 样 在 性 价 比 上 也 是 最 高 的 。 像 |BM 和 DELL 的 品牌 服务 器 ， 虽 然 质 量 








有 保障 ， 但 价格 比较 昂贵 。 当 然 ， 一 切 以 稳定 为 最 高 原则 。 


Monitor 192.168.10.143 


ER 


Crwler192.168.10.127 


DB1 MySQL Master 


€ 192.168.10.110 














< 
_ 
FW WAN:205.2461165.8 Web1 192.168.10.102 
LAN:192.168_10.1 
> LB1 192.168.10.146 三 KM3 10.1.0.11 
一 - 
二 DB2 MySQL Slave 
192.168.10.114 KAN 
SS 


Ebay 192.168.10.98 


192.168.10.100 
Nginx+KeepAlived := 


-me 
LB2 192.168.10.147 





NEFS1 192.168.10.119 


胃 







Restful 192.168.10.99 


ee 
™— 
SY 


NFS Virtual I 
Web2 192.168.10.106 192.168 10'1 区 
_ DRBD+Heartbeat | Backup 192.168.10.135 
| 证 Ca 
NFS2 192.168.10.123 TL4000 Tape 





图 5-10 百 万 级 PV 高 可 用 网 站 系统 架构 设计 图 
































另外 ， 如 果 考 虑 用 云 产 品 来 部 署 自己 的 网 站 ， 我 们 可 以 对 比 下 阿里 云 和 亚马逊 云 的 价格 亚马逊 AWS 宣 布 入 华 后 ， 阿 里 云 的 全 线 产 品 下 降 30%。 而 云 计算 相 比 传统 |T 最 大 的 优势 在 于 成 本 。 我 们 可 以 对 


























比 下 同等 规模 的 机 器 ， 阿 里 云 在 价格 上 具有 绝对 的 优势 。 所 以 ， 如 果 是 小 型 网 站 并 且 流 量 均 来 自 国内 ， 大 家 可 以 考虑 采用 阿里 云 的 方式 部 署 。 如 果 业 务 客户 主要 分 布 在 国外 ， 则 建议 大 家 采用 AWS 云 计算 主 
机 的 方式 部 署 。 



































网 站 架构 设计 首先 考虑 的 是 负载 均衡 设备 的 选择 。 我 们 可 以 有 两 种 选择 ， 一 种 是 通过 硬件 进行 ， 常 见 的 硬件 有 比较 昂贵 的 NetScaler、F5 Big-IP 等 商用 负载 均衡 器 ， 优 点 就 是 有 专业 的 维护 团队 来 对 这 




















些 服务 进行 后 期 维护 ， 缺 点 就 是 开销 太 大 ， 对 于 规模 较 小 的 网 络 服务 来 说 暂时 没有 必要 使 用 。 另 外 一 种 就 是 类 似 于 LVS/HAProxy、Nginx 的 基于 Linux 的 开源 免费 的 负载 均衡 软件 策略 ， 这 些 都 是 通过 软件 级 
别 实 现 的 ， 所 以 费用 非常 低廉 ， 小 型 企业 和 公司 由 于 费用 的 问题 ， 通 常会 选择 软件 级 别 的 负载 均衡 。 












































至 于 负载 均衡 高 可 用 架构 ， 笔 者 首 推 的 是 Nginx/HAProxy+Keepalived 架 构 ， 这 时 很 多 朋友 会 有 疑问 ， 为 什么 不 选择 LVS/DR+ Keepalived 的 集群 方案 呢 ? 这 是 因为 我 们 部 署 的 网 站 一 般 都 有 动静 分 离 、 
































正则 分 发 的 需求 ， 如 果 我 们 最 前 面 选用 LVS+Keepalived 的 架构 ， 那 么 至 少 要 在 中 间 加 一 层 二 级 负载 均衡 的 费 机 器 ， 这 样 比较 耗费 机 器 ， 无 形 中 也 会 增加 整个 网 站 的 成 本 。 另 外 ， 很 多 朋友 都 比较 担心 
Nginx/HAProxy+Keepalived 的 稳定 性 不 如 LVS+ Keepalived， 这 其 实 是 个 误解 ， 我 们 通过 十 几 个 项 目的 成 功 实施 ， 再 加 上 几 年 时 间 的 观察 期 ， 发 现 这 些 软件 级 别 的 负载 均衡 器 的 稳定 性 确实 很 好 ， 在 高 并 
发 的 情况 下 宕 机 的 可 能 性 微乎其微 。 而 近期 实施 的 一 个 商业 网 站 ， 用 的 是 HAProxy+Keepalived， 在 亿 PV/ 日 高 并 发 流量 的 冲击 下 ，HAProxy 稳 如 各 石 。 而 小 公司 的 并 发 和 流量 一 般 不 是 特别 大 ， 大 概 一 天 
持续 在 100 万 /日 至 500 万 /日 之 间 ， 所 以 这 里 向 大 家 推荐 Nginx/HAProxy+Keepalived。 







































































如 果 网 站 放 在 IDC 机 房 托管 ， 而 机 房 最 前 面 也 没有 硬件 防火 墙 防护 时 ， 此 时 建议 大 家 大 家 开启 机 器 的 iptables 防 火 墙 及 TCP_Wrapper， 服 务 器 上 尽量 少 开端 口 。 除 此 之 外 ， 还 要 做 好 流量 监控 的 工作 ， 


笔者 一 般 会 在 主 Nginx/HAProxy 负 载 均衡 器 上 安装 MRTG+Nload 软 件 来 对 流量 进行 监控 ，Nload 可 以 对 流量 进行 即时 监控 。 





























很 多 对 集群 感 兴趣 的 朋友 问 我 ， 如 果 网 站 要 部 署 负 载 均 衡 高 可 用 的 Linux 集 群 方案 ， 而 公司 又 想 用 最 节省 成 本 的 方式 来 实施 ， 一 般 需 要 几 人 台 服 务 器 呢 ? 如 果 资 金 比 较 充 裕 ， 笔 者 推荐 大 家 用 8 人 台 来 实施 ， 





























即 LB (2 台 ) +Web (2 台 ) +MySQL (2 台 ) +NFS (2 台 ) ，NFS 采 用 DRBD+Heartbeat 高 可 用 方案 。 如 果 资 金 不 充裕 ， 这 个 方案 还 可 以 压缩 ， 即 2+2+ 1 架构 ， 最 前 面 是 2 台 Nginx/HAProxy+Keepalived 





















































机 器 ， 后 面 是 2 台 配 置 比较 好 的 Web 机 器 (推荐 DELL R710 或 DELL R910) ，MySQI 数据库 采用 一 主 一 从 的 方式 ， 分 别 放 在 2 台 Web 机 器 上 ， 监 控 的 Nagios 部 署 在 从 Nginx/HAProxy 机 器 上 ， 流 量 监 控 一 般 
放 主 Nginx/HAProxy， 软 件 采用 的 是 MRTG+Nload 的 方式 ， 文 件 服务 器 这 里 用 的 是 单 NFS，Web 机 器 采用 挂 载 NFS 的 目录 作为 本 地 的 代码 或 图 片 存放 的 方法 。 当 然 ， 如 果 大 家 的 公司 对 文件 服务 器 有 更 高 



































求 (比如 网 站 的 图 片 数量 比较 多 的 时 候 ) ， 可 以 考虑 再 增加 一 台 存 储 作为 专门 的 文件 服务 器 。 
































类 似 以 上 的 小 公司 集群 架构 里 ， 我 们 是 如 何 解 决 Session 共 享 的 问题 呢 ? 可 以 采用 Nginx 的 ip_hash 和 HAProxy 的 balance source 算 法 ， 它 们 的 算法 原理 是 一 样 的 ， 都 会 让 某 一 客户 机 在 相当 长 的 一 段 时 











间 内 只 访问 固定 后 端的 某 台 真实 的 Web 服 务 器 。 这 样 Session 会 话 就 会 得 以 保持 ， 我 们 在 网 站 页 面 进行 Login 的 时 候 ， 就 不 会 在 两 台 Web 服 务 器 之 间 跳 来 跳 去 了 ， 自 然 也 不 会 出 现 登录 一 次 后 网 站 又 提醒 没有 




















登录 ， 需 要 重新 登录 的 情况 。 事 实 上 ， 在 干 万 级 PV/ 日 的 网 站 上 我 们 也 尝试 过 用 这 些 方式 来 解决 Session 同 步 的 问题 ， 效 果 相当 不 错 。 








另外 ， 小 公司 的 Web 服 务 器 至 少 有 两 种 选择 : 一 种 是 Apache， 另 一 种 是 Nginx。 在 流量 和 并 发 不 大 的 环境 下 ， 完 全 可 以 选择 Apache 作 为 我 们 的 Web 服 务 器 ， 虽 然 它 的 抗 并 发 能 力 不 高 ， 但 它 的 稳定 性 


| 
如 





是 最 好 的 ， 笔 者 的 许多 电子 商务 网 站 都 是 基于 Apache 来 提供 Web 应 用 。 














另外 ， 由 于 这 种 百 万 PV 流 量 的 小 型 网 站 ， 不 存在 红包 领 抢 、 订 单 下 订 等 各 种 高 并 发 问题 ， 后 端的 MySQL 压 力 很 小 ， 所 以 这 里 没有 考虑 采用 消息 队 息 (任务 队列 ) 模型 及 NoSQL。 






































MySQL 在 这 里 用 的 是 一 主 一 从 的 架构 设计 方案 (采用 InnoDB 引 擎 ) ， 虽 然 很 多 朋友 觉得 这 种 设计 比较 简单 ， 但 事实 证 明 它 是 最 稳定 的 。 笔 者 的 电子 商务 网 站 也 是 采用 这 种 架构 ， 几 年 下 来 ， 从 没有 






























































为 数据 库 的 故障 发 生 过 丢 单 现象 。 另 外 ， 从 MySQL 机 器 并 非 仅仅 只 起 一 个 备份 和 备 机 的 作用 ， 我 们 设计 数据 库 的 读 写 分 离 ， 将 后 台 的 复杂 查询 转 到 从 MySQL 机 器 上 来 减轻 主 MySQL 数 据 库 的 压力 。 当 











MySQL 的 主 从 复制 状态 监控 也 是 非常 重要 的 ， 笔 者 一 般 是 通过 Nagios (短信 报警 ) 的 监控 方式 。 

















如 何 帮 企 业 节 约 硬件 成 本 其 实 也 是 系统 架构 设计 师 的 工作 职责 之 一 ， 希 望 大 家 能 在 工作 中 领悟 到 这 点 。 这 样 设 计 出 来 的 网 站 ， 极 具 性 价 比 ， 同 时 也 具备 高 可 用 的 特点 ， 特 别 适 合流 量 不 大 ， 但 稳定 性 要 














求 较 高 的 网 站 ， 有 需求 的 朋友 可 以 参考 此 架构 设计 。 


5.5.7 和 干 万 级 PV 高 性 能 高 并 发 网 站 架构 设计 








随 着 网 站 的 知名 度 越 来 越 高 ， 注 册 用 户 超过 干 万， 而 且 每 天 都 有 持续 增长 的 趋势 ，PV/ 日 已 经 有 向 干 万 级 甚至 亿 级 /日 靠拢 的 趋势 ， 那 么 原 有 的 Web 架 构 就 越 来 越 满足 不 了 我 们 的 需求 。 所 以 这 时 候 需 要 
设计 高 性 能 高 可 用 的 网 站 架构 ， 在 这 套 架构 里 ， 系 统 架构 师 要 做 的 是 提升 站 点 整体 的 性 能 、 可 用 性 ， 不 止 是 前 端 代理 ， 后 端 应 用 服务 器 、 数 据 库 、 缓 存 中 间 件 等 都 要 综合 考虑 。 这 个 架构 中 的 任何 一 个 点 存 
在 瓶 矣 ， 整 体系 统 处 理 能 力 就 大 打折 扣 ， 我 们 不 能 让 它们 之 一 形成 短 板 效应 ， 网 站 拓扑 图 如 图 5-11 所 示 。 
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图 5-11 网 站 系统 架构 设计 图 








机 房 应 尽量 选择 BGP 机 房 ， 双 线 次 之 。BGP 机 房 的 优势 如 下 : 





“ 服务 器 只 需要 设置 一 个 IP 地 址 ， 最 佳 访问 路 由 是 由 网 络 上 的 骨干 路 由 器 根据 路 由 跳 数 与 其 他 技术 指标 确定 的 ， 不 会 占用 服务 器 的 任何 系统 资源 。 服 务 器 的 上 行路 由 与 下 行路 由 都 能 选择 最 优 的 路 径 ， 
所 以 能 真正 实现 单 IP 的 高 速 访问 。 


“ 由 于 BGP 协 议 本 身 具 有 宛 余 备份 、 消 除 环 路 的 特点 ， 所 以 当 IDC 服 务 商 有 多 条 BGP 互 联 线路 时 可 以 实现 路 由 的 相互 备份 ， 在 一 条 线路 出 现 故障 时 路 由 会 自动 切换 到 其 他 线路 。 
: 使 用 BGP 协 议 还 可 以 使 网 络 具有 极 强 的 扩展 性 ， 可 以 将 IDC 网 络 与 其 他 运营 商 互 联 ， 轻 松 实现 单 IP 多 线路 ， 做 到 所 有 互联 运营 商 的 用 户 访问 都 很 快速 ， 这 个 是 双 IP 双 线 无 法 比拟 的 。 


1. 硬 件 防 火 墙 

















硬件 防火 墙 的 模式 有 路 由 和 透明 两 种 选择 ， 根 据 具 体 环 境 而 定 。 防 火 墙 的 型 号 一 般 选择 华 赛 或 Juniper， 这 些 都 可 以 根据 自己 的 业务 网 站 的 实际 需求 加 以 选择 ， 硬 件 防火 墙 的 主要 作用 是 防止 DDoS 攻击 
和 端口 映射 。 当 然 ， 现 在 的 网 站 基本 都 会 上 CDN 服 务 ， 可 以 考虑 是 否 增加 硬件 防火 墙 。 











如 果 我 们 的 网 站 是 用 于 电子 商务 支付 系统 的 ， 建 议 前 端 要 放置 硬件 防火 墙 ， 国 内 的 DDoS 攻击 非常 流行 ， 对 付 DDos 是 一 个 比较 复杂 而 庞大 的 系统 工程 ， 想 仅仅 依靠 某 种 系统 或 产品 抵挡 DDOS 是 不 现实 
的 ， 可 以 肯定 的 是 ， 目 前 完全 杜绝 DDOS 是 不 可 能 的 ， 但 可 以 做 到 通过 适当 的 措施 抵御 90% 的 DDoS 攻击 ， 由 于 攻击 和 防御 都 有 成 本 开销 ， 若 通过 适当 的 办 法 增强 了 抵御 DDOS 的 能 力 ， 也 就 意味 着 加 大 了 攻 
击 者 的 攻击 成 本 ， 那 么 绝 大 多 数 攻击 者 将 放弃 攻击 ， 也 就 相当 于 成 功 抵御 了 DDoS 攻击 。 











2.CDN 静 态 文件 缓存 











对 于 图 片 较 多 的 电子 商务 网 站 和 新 闻 资 讯 类 网 站 而 言 ， 前 端 静 态 文件 CDN 缓 存 (主要 针对 的 是 图 片 /FLV/CSS/JS 等 静态 文件 ) 的 意义 重大 : 智能 view 解 析 ， 加 快 全 国 用 户 访问 本 地 网 站 的 速度 ， 从 而 提 
升 用 户 体验 。 另 外 ， 这 里 还 有 一 个 隐 含 的 更 为 重要 的 作用 ， 在 遇 到 DDos 攻 击 的 时 候 ，CDN 会 帮忙 抗 住 大 部 分 的 流量 ， 这 里 分 挫 到 源 站 的 流量 就 会 非常 少 ， 不 可 能 导致 源 站 准 痪 。 但 应 该 使 用 哪 种 CDN 系 统 
呢 ? 这 就 让 我 们 面临 着 两 种 选择 : 使 用 自己 搭建 CDN 系 统 还 是 租赁 别人 的 CDN。 个 人 觉得 自己 搭建 CDN 系 统 是 件 非常 消耗 财力 和 人 力 的 事情 ， 而 且 达 不 到 预期 目标 ， 如 果 需 要 前 端 缓存 ， 建 议 以 租赁 CDN 
为 主 ， 把 更 多 的 资金 流 投入 到 后 端的 文件 存储 和 NoSQL 缓 存 服务 及 数据 库 上 面 去 。 































































































3. 负 载 均衡 器 





负载 均衡 器 的 选择 根据 它们 的 特点 来 挑选 即 可 ，LVS 是 性 能 最 好 的 ， 特 别 是 后 端的 节点 超过 10 个 以 上 时 ， 但 它 对 网 络 的 要 求 高 ， 而 且 不 支持 动静 分 离 ， 所 以 建议 暂时 将 其 作为 数据 库 的 负载 均衡 。 
HAProxy 性 能 优异 ， 稳 定性 强 ， 自 带 强 大 的 监控 页 面 ， 并 且 支 持 动静 分 离 ， 我 们 已 用 HAProxy+Keepalived 实 现 了 亿 级 /日 的 网 站 ， 在 高 并 发 的 业务 时 间 段 ， 单 HAProxy 也 非常 稳定 ， 没 有 发 生 过 宕 机 情况 。 
































在 大 公司 的 网 站 架构 里 ， 多 级 负载 均衡 也 是 很 好 的 设计 方案 ， 最 外 面 流量 的 负载 均衡 用 硬件 负载 均衡 器 ， 例 如 F5/NetScaler，Nginx 或 HAProxy 作 为 二 层 负 载 均衡 ， 根 据 频道 或 业务 来 分 流 。 现 在 很 多 
朋友 参考 淘宝 的 架构 ,说 网 站 最 前 端 一 定 要 放 四 层 负 载 均衡 ， 这 个 其 实 是 针对 淘宝 这 种 巨 量 级 别 的 业务 ， 如 果 是 干 万 级 PV/ 日 的 网 站 ， 甚 至 是 亿 级 PV/ 日 的 网 站 ,使 用 HAProxy/Nginx+Keepalived 基 本 就 
可 以 满足 需求 了 。 另 外 ， 通 过 观察 线 上 高 流量 网 站 的 HAProxy 负 载 情况 ， 发 现 HAProxy 在 高 并 发 的 情况 下 还 是 比较 耗费 CPU 资源 的 ， 建 议 大 家 在 此 架构 中 采用 高 性 能 的 服务 器 ， 如 Dell PowerEdge R710 或 
更 高 型 号 的 机 器 。 另 外 ，HAProxy/Nginx 相 对 于 LVS 的 优势 如 下 : 





















































“ 配置 简单 ， 语 法 通俗 易 懂 。 

: HAProxy/Nginx 对 网 络 的 依赖 性 小 ， 理 论 上 只 要 ping 得 通 的 网 络 就 可 以 部 署 实施 七 层 负载 均衡 。 
“ 根据 应 用 配置 URI 路 由 规则 ， 集 中 热点 来 提高 缓存 的 命中 率 。 

“ 根据 URI 路 由 规则 来 进行 动静 分 离 。 


4.Web 缓 存 层 


力 是 巨大 的 ， 有 时 甚至 会 发 生 拒绝 提供 服务 的 现象 ， 有 了 这 


一 台 Apache Web 服 务 器 发 








层 的 前 提 下 ， 我 们 


复制 的 原理 是 通过 组 播 的 方式 进行 集群 间 
上 的 session 变更 后 会 将 变更 的 数据 以 组 播 的 形式 分 发 给 集群 


缓存 一 如 果 DB 中 也 没有 查询 到 今 














Web 缓 存 层 可 以 使 用 Squid 或 Varnish。 笔 者 在 公司 以 前 的 项 目 中 多 次 应 用 Squid 服 务 器 ， 它 作为 老牌 的 








可 以 尝试 下 新 兴 的 Varnish， 它 的 稳定 性 和 性 能 不 亚 于 squid， 而 



































有 的 朋友 可 能 不 能 理解 ， 为 什么 我 们 前 端 已 经 有 了 CDN 缓 存 ， 这 里 还 需要 自己 架设 一 层 Web 缓 





5.Web 服 务 器 及 开发 语言 的 选择 























关于 Web 服 务 器 的 选择 ，Apache 作 为 Web 传 统 服务 器 ， 


























至 于 开发 语言 的 选择 ， 对 比 Nginx_php， 建 议 采 用 Nginx _ 















































展 起 来 的 (公司 高 层 要 求 平滑 不 中 断 业 务 升级 ) 。 如 果 是 我 们 这 种 并 发 量 和 访问 量 比较 大 的 


lua。 





但 相对 来 说 ， 仍 然 要 





回 





层 呢 ? 如 果 有 高 并 发 高 流量 项 


于 电子 商务 /电子 广告 /页 游 网 站 都 非常 稳定 ， 在 16GB 内 





反 向 代理 服务 器 ， 在 生产 环境 下 的 稳定 性 是 有 保证 的 。 但 squid 对 多 核 CPU 的 支持 并 不 好 ， 大 家 
多 核发 CPU 支持 得 好 ， 性 能 也 优 于 Squid。 


目的 朋友 应 该 会 发 现 ， 后 端 NFS 文 件 服务 器 (或 者 本 地 商业 存储 ) 的 I/O 压 
层 Web 缓 存 ， 可 以 起 到 加 速 后 端 Web 服 务 及 减 小 NFS (或 本 地 商业 存储 ) 文件 服务 器 磁盘 /O 压 力 的 作用 。 




















存 的 标准 配置 下 ， 抗 并 发 能 力也 非常 不 错 。 许 多 公司 的 网 站 架构 其 实 都 是 由 最 原始 的 











归 到 我 们 正在 做 什么 事情 上 














站 ， 建 议 用 Nginx 作 为 Web 服 务 器 。 
























































我 们 可 以 总 结 下 Nginx_lua 的 适用 场景 : 














的 时 间 ， 如 果 说 读者 对 性 能 的 要 求 并 不 是 妈 


希望 在 对 外 的 数据 接口 方面 尽 可 能 降低 成 本 ，PHP 肯 定 不 行 ,局 
定 ， 我 们 可 以 忍受 这 样 的 成 本 ， 去 为 这 个 逻辑 定制 一 些 模块 。 

















pg 么 高 ， 并 发 数 只 是 几 十 ， 那 么 使 

















“ 网 络 I/O 〇 阻塞 时 间 远 远 高 于 CPU 计 算 占 用 时 间 ， 同 时 上 游资 源 非 产 颈 (可 伸缩 ) 的 网 络 应 用 ， 如 高 性 能 网 络 中 间 层 、HTTP REST 接 口服 务 等 。 





: 期 望 简化 系统 架构 ， 让 服务 向 Nginx 同 质 化 的 Web 站 点 。 


对 于 Nginx_lua 的 劣势 ， 刚 刚 和 Nginx_php 对 比 的 时 候 也 介绍 了 一 些 如 周边 模块 不 完善 、 不 健全 的 问题 。 如 果 我 们 




















局 接口 层 ， 以 及 所 有 的 网 络 中 间 层 ， 需 要 追求 并 发 ， 高 性 能 的 网 络 中 间 层 。 因 为 相对 来 说 它 本 身 的 逻辑 比较 简 















































参考 文档 : http://developer.51cto.com/art/201207/350070.htm。 


6.: 文 件 服务 器 层 














由 于 网 站 后 期 的 宣传 策划 ， 客 户 越 来 越 多 ， 原 先 的 DRBD+Heartbeat+NFS 高 可 
也 是 很 流行 的 趋势 。 




















虽然 分 布 式 文件 存储 对 于 减轻 文件 服务 器 压力 方面 有 所 效果 ， 但 浆 端 也 很 明显 : 分 布 式 文件 存储 占 











其 实 还 有 很 多 人 一 直 在 使 用 Nginx_php 这 种 组 合 搭配 ， 那 么 Nginx_lua 组 合 的 优势 在 哪里 呢 ? 事实 上 ，Nginx+php 之 间 是 要 有 进程 之 间 通 信和 的 ， 这 样 一 来 ， 基 础 的 性 能 开销 就 很 大 。lua 是 嵌 在 Nginx 进 
程 内 部 的 ， 它 不 需要 有 两 套 进程 在 那里 独立 工作 ， 所 以 从 结构 上 来 说 就 有 决定 性 的 优势 。 再 加 上 线程 之 间 通 讯 的 时 候 需要 大 量 的 
的 切换 开销 ， 所 以 单机 上 面 Nginx_php 要 比 Nginx_lua 低 很 多 。 
来 积累 这 些 模 块 。 而 PHP 已 经 积累 了 十 几 生 
数据 接口 会 被 频繁 访问 ， 并 发 数 又 非常 大 ， 而 机 器 数 就 那么 多 ， 
它 的 逻辑 相对 来 说 较为 固 


反 序列 化 和 序列 化 的 工作 ， 然 后 两 套 进程 带 来 额外 情况 是 更 多 的 进程 加 更 多 
来 讨论 ， 因 为 Nginx_Iua 目 前 最 大 的 劣势 就 是 周边 模块 相当 不 健全 ， 我 们 需要 大 量 的 时 间 
PHP 就 是 最 合适 的 。 但 是 像 笔者 这 种 访问 量 频繁 的 电子 商务 网 站 ， 对 外 提供 服务 的 
p 么 此 时 就 要 选择 Nginx_Iua。 但 这 块 话 对 模块 的 劣势 看 起 来 不 是 很 大 ， 因 为 




















到 的 这 个 东西 比较 复杂 ， 有 可 能 生产 力 会 上 不 去 ， 














前 Nginx_lua 最 适合 的 人 员 是 数 

















， 或 者 完全 























文件 服务 器 磁盘 I/O 压 力也 越 来 越 大 ， 此 时 就 应 该 考虑 采 





























可 以 针对 文件 服务 器 进行 NFS 分 组 ， 这 样 从 业务 层面 来 说 就 会 进一步 减 小 NFS 的 压力 。 














推荐 性 价 比较 高 的 国产 商业 存储 ， 比 如 说 龙 存 。 



































说 下 关于 图 片 服务 器 的 问题 ， 建 议 大 家 采用 独立 域名 而 非 二 级 域名 的 方式 ， 原 因 如 下 : 











i 


2) 多 个 域名 可 以 增加 浏览 器 并 行 下 载 条 数 ， 因 为 浏览 器 对 | 





7.Session 的 问题 





Session 数 据 默认 在 各 个 服务 器 上 分 别 存放 ， 如 果 在 某 一 次 PHP 请 求 过 后 ，Apache 将 PHP 请 求 发 送 到 了 集群 中 的 另 多 
redis 服 务 器 来 存储 整个 网 站 的 Session 数 据 ， 再 通过 改写 PHP 的 














这 里 不 推荐 将 Session 放 进 MySQL 的 做 法 ， 在 这 个 高 流量 的 网 站 中 ， 数 据 


为 了 避免 传输 不 必要 的 cookie， 从 而 提升 速度 目 减 少 不 必 要 的 攻击 ， 





同一 个 域 的 域名 下 载 条 数 是 有 限制 的 。 


Session 处 理 函 数 来 对 memcached 或 redis 服 务 器 进行 数 






































的 session 共享 ， 比 如 目前 常用 的 Tomcat 就 具备 这 样 的 功能 。 





























系统 架构 设计 师 可 以 根据 网 站 的 实际 情况 来 选择 是 否 采用 这 种 做 法 。 














8.NoSQL 数 据 库 缓存 


机 器 的 数量 较 多 ， 维 护 起 来 比较 复杂 ， 而 和 


因为 跨 域 是 不 会 传输 cookie 的 。 


复杂 的 web 访 问 站 ， 需 要 套用 大 量 模板 ， 且 有 大 量 的 复杂 逻辑 谋 在 里 面 ， 然 后 访问 邮件 服务 的 同时 还 要 访问 其 他 服务 ， 目 前 而 言 ， 笔 者 认为 最 好 的 选择 还 是 Nginx_php。 

















分 布 式 文件 存储 方案 了 ， 如 今 MooseFS 或 GlusterFS 在 国内 


lua 本 身 就 可 以 变现 出 来 ， 这 个 用 起 来 收效 比例 是 最 大 的 。 如 果 你 目前 要 做 一 个 




















和 NFS 维 护 起 来 非常 容易 。 事 实 上 ， 在 有 前 端 CDN 和 缓存 





























一 台 机 器 ， 那 么 就 会 导致 Session 的 丢失 。 所 以 这 里 使 用 一 台独 立 memcached 或 














居 读 写 ， 然 后 解决 各 个 服务 器 中 Session 不 同步 的 问题 。 








库 压 力 是 非常 大 的 ， 我 们 不 应 该 再 让 Session 的 问题 增加 数据 库 方 面 的 压力 。 另 外 ， 也 不 推荐 采 






























































redisNoSQl 数 据 库 作为 数据 库 缓存 非常 理想 ， 它 们 在 减轻 数据 库 读 写 压力 方面 效果 显著 。 这 里 以 实际 场景 进行 说 明 。 




















比如 日 常 签到 获取 积分 功能 ， 这 是 种 用 户 高 聚 的 情况 。 











场景 中 的 这 些 业务 基本 都 是 用 户 进 入 APP 后 会 操作 到 的 ， 除 了 活动 日 (如 年 中 大 促 、11 月 11 日 等 ) ， 

















































































































我 们 需要 减少 用 户 直接 命中 DB 的 查询 ， 优 先 查询 redis 缓 存 ， 如 果 缓 存 不 存在 ， 再 进行 DB 查询 ， 将 查询 结果 缓存 起 来 。 更 新 用 户 相关 缓存 需要 分 布 式 存储 ， 比 如 使 
同 的 缓存 中 ， 这 样 一 个 缓存 集合 的 总 量 不 会 很 大 ， 也 不 会 影响 查询 效率 。 





























































































































体 流程 为 : 计算 出 用 户 分 布 的 key，redis hash 中 查找 用 户 今日 签到 信息 一 如 果 查 询 到 签到 信息 ， 返 回 签到 信息 ; 如 果 没有 查询 到 ，DB 查 询 今 
的 签到 记录 ， 则 进行 签到 逻辑 ， 操 作 DB 添 加 今日 签到 记录 ， 添 加 签到 








电子 商务 网 站 还 有 一 种 常见 的 场景 : 秒 抢 红包 或 者 秒杀 ， 这 种 场景 在 电 商 平台 是 很 常见 的 ， 像 这 种 




















而 定 。 








场景 中 的 红包 定时 领取 是 一 个 高 并 发 的 业务 ， 像 活动 用 户 在 约定 的 时 间 涌 入 ，DB 瞬 间 受 到 一 记 暴 击 ，Ho 








像 这 种 不 是 只 有 查询 的 操作 并 且 会 有 高 并 发 的 插入 或 者 更 新 数据 的 业务 ， 育 
息 添 加 到 消息 队列 中 ， 然 后 编写 一 个 多 线程 程序 去 消耗 队列 ， 给 队列 中 的 用 户 发 放 红包 。 具 体 流程 可 以 参考 






























































Session 复 制 的 方式 ，Session 


身 支 持 ， 配 置 简单 ， 这 种 处 理 Session 的 方式 适合 小 中 型 网 站 。 缺 点 是 当 一 台 机 器 
间 的 所 有 节点 ， 这 对 网 络 和 所 有 的 Web 容 器 都 存在 开销 ， 集 群 越 大 ， 浪 费 越 严 重 。 


户 量 都 不 会 高 聚集 ， 同 时 这 些 业 务 相 关 的 表 都 是 大 数据 表 ， 业 务 多 为 查询 操作 ， 所 以 
户 ID 进 行 hash 分 组 ， 把 用 户 分 布 到 不 











是 否 进行 签到 ， 如 果 签到 过 ， 就 把 签到 信息 同步 redis 












































户 在 瞬间 渗入 产生 高 并 发 请 求情 况 需要 引入 消息 中 间 件 ， 例 旭 


和 面 提 到 的 通用 方案 就 无 法 支 





























d 不 住 就 会 宕 机 ， 然 后 影响 整个 业务 。 


积分 (整个 DB 操作 为 一 个 事务 ) 一 缓存 签到 信息 到 redis， 返 回 签到 信息 。 


0RabbitMQ 集 群 ， 机 器 数量 视 实际 的 








撑 ， 并 发 的 时 候 都 是 直接 命中 DB。 设 计 这 块 业务 的 时 候 就 会 使 




















消息 队列 ， 可 以 将 参与 用 户 的 信 
































方案 如 下 所 示 : 一 般 习 惯 使 用 redis 的 List (列表 ) 类 型 一 当 用 户 参 与 活动 ， 将 | 
常 参与 活动 ， 并 且 避 免 数 据 库 服务 器 宕 机 的 危险 。 

















户 参与 信息 Push 到 队列 中 一 编写 一 个 多 线程 程序 去 pop 数 据 ， 进 行 发 放 红包 的 业务 一 这 样 可 以 支持 高 并 发 下 的 用 户 都 正 


参考 文档 : https://blog.thankbabe.com/2016/09/14/high-concurrency-scheme/。 


9 数据 库 的 压力 


最 后 再 说 下 数据 库 方面 的 压力 ， 这 个 环节 经 常 是 整个 网 站 性 能 的 瓶颈 所 在 ， 所 以 我 们 要 投入 足够 多 的 精力 在 这 上 面 。 网 站 上 线 以 后 ， 如 果 数 据 库 读 写 压 力 过 大 ， 磁 盘 /O 负 载 越 来 越 高 ， 这 时 候 应 该 怎么 
办 呢 ? 





push 





多 线程 程序 。 乱入 







读 取 并 同步 缓存 





Redis 主 从 集群 DB 主 从 集群 


图 5-12 消息 队列 工作 流程 图 

















首先 是 增加 数据 库 缓存 ，redis、memcached 等 NoSQL 数 据 库 作为 数据 库 缓存 都 非常 理想 ， 它 们 在 减轻 数据 库 读 写 压力 方面 效果 显著 。 事 实 上 ， 很 多 业务 数据 放 在 redis 上 的 效果 要 远 比 放 在 MySQL 里 
面 好 得 多 ， 比 如 我 们 的 IP ( 即 IP List) 业务 数据 ， 一 次 导入 量 动 加 十 几 亿 条 ， 放 在 Redis 里 面 的 话 ， 程 序 读 取 速度 远 远 优 于 MySQL 数 据 库 ， 同 时 也 会 大 大 ) 
个 情况 : 虽然 我 们 可 以 用 redis 来 提升 网 站 性 能 ， 但 也 有 一 个 浆 端 ， 如 果 需 要 Cache 的 数据 对 象 非常 多 的 时 候 ， 应 用 
发 部 门 和 系统 部 门 的 同事 协同 工作 了 。 





成 轻 MySQL 数 据 库 的 压力 。 在 这 里 大 家 也 要 注意 一 
程序 要 增加 的 代码 量 就 会 很 多 ， 同 时 网 站 复杂 度 及 维护 成 本 也 将 直线 上 升 ， 此 时 就 需要 开 



































1) 数据 库 架 构 可 以 采用 一 主 多 从 ， 读 写 分 离 的 方案 ， 用 LVS+Keepalived 作 为 从 数据 库 的 负载 均衡 器 ， 读 写 通过 程序 上 实现 分 离 ， 前 后 台 业 务 逻 辑 分 离 ， 将 针对 后 台 的 查询 全 部 转 到 Slave 机 器 上 ， 这 样 
就 算 查询 的 业务 量 很 大 也 不 会 影响 主要 业务 逻辑 。 





2) 对 网 站 的 业务 数据 库 进 行 分 库 ， 后 面 的 业务 都 是 一 组 数据 库 ， 如 web、bbs、blog 等 ， 对 主要 业务 数据 库 进行 数据 的 水 平 切 分 或 垂直 切 分 也 是 非常 有 必要 的 。 





综 上 所 述 ， 设 计 这 种 高 流量 高 并 发 的 网 站 系统 架构 ， 我 们 应 该 尽量 做 到 以 下 几 点 : 
* 尽量 把 用 户 往外 面 推 ， 保 证 源 站 的 压力 小 。 

“ 在 网 站 测试 阶段 尽量 做 好 压力 测试 的 工作 。 

保证 网 站 的 高 可 用 。 

保证 网 站 的 高 可 扩展 性 。 

“ 多 利用 Nosql 来 减轻 后 端 数据 库 的 压力 。 


“ 合理 优化 数据 库 。 


做 到 了 以 上 几 点 ， 我 们 的 网 站 应 该 就 能 承受 更 大 流量 和 并 发 的 冲击 。 而 且 像 这 种 千 万 级 / 亿 级 PV 的 网 站 很 容易 扩展 ， 设 计 好 中 间 的 NoSQIl 数 据 缓存 和 后 端的 数据 库 架构 ， 很 容易 扩展 到 十 几 亿 PV/ 日 。 
世上 没有 绝对 完美 的 架构 ， 完 美的 架构 都 是 根据 实际 需求 ， 一 点 点 演变 和 设计 出 来 的 。 

















5.6 ”软件 级 负载 均衡 器 的 特点 介绍 与 对 比 


现在 网 站 发 展 的 趋势 对 网 络 负载 均衡 的 使 用 是 随 着 网 站 规模 的 提升 根据 不 同 的 阶段 来 使 用 不 同 的 技术 : 


一 种 是 通过 硬件 进行 ， 常 见 的 硬件 有 比较 昂贵 的 NetScaler、F5 Big-IP 等 商用 负载 均衡 器 ， 它 的 优点 是 有 专业 的 团队 对 这 些 服务 进行 维护 ， 缺 点 是 花 销 太 大 ， 所 以 对 于 规模 较 小 的 网 络 服务 来 说 暂时 没 
有 必要 使 用 ; 另 一 种 就 是 类 似 于 LVS/HAProxy、Nginx 的 基于 Linux 的 开源 免费 的 负载 均衡 软件 策略 ， 这 些 都 是 通过 软件 级 别 实现 的 ， 所 以 费用 非常 低廉 。 笔 者 个 人 比较 推荐 大 家 采用 第 二 种 方案 来 实施 自己 
网 站 的 负载 均衡 需求 。 

































































很 多 读者 担心 软件 级 别 的 负载 均衡 在 高 并 发 流量 冲击 下 的 稳定 情况 ， 我 们 通过 一 些 成 功 上 线 的 网 站 和 系统 发 现 ， 软 件 级 别 的 负载 均衡 的 稳定 性 也 非常 好 ， 宕 机 的 可 能 性 微乎其微 ， 下 面 对 它 们 的 特点 和 
适用 场合 分 别 进行 说 明 。 


















































LVS: 使 用 集群 技术 和 Linux 操 作 系统 实现 一 个 高 性 能 、 高 可 用 的 服务 器 ， 它 具有 很 好 的 可 伸缩 性 (Scalability) 、 可 靠 性 (Reliability) 和 可 管理 性 (Manageability) ， 感 谢 章 文 涡 博士 为 我 们 提供 如 
此 强大 实用 的 开源 软件 。 





























LVS 的 特点 是 : 

“ 抗 负载 能 力 强 ， 工 作 在 网 络 4 层 之 上 仅 作 分 发 之 用 ，DR 模 式 没有 流量 的 产生 ， 这 个 特点 也 决定 了 它 在 负载 均衡 软件 里 的 性 能 是 最 强 的 。 

“ 配置 性 较 低 ， 这 是 一 个 缺点 也 是 一 个 优点 ， 因 为 没有 太 多 可 配置 的 东西 ， 所 以 并 不 需要 太 多 接触 ， 大 大 减少 了 人 为 出 错 的 几率 。 

“ 工作 稳定 ， 自 身 有 完整 的 双 机 热 备 方案 ， 如 LVS+Keepalived 和 LVS+Heartbeat， 不 过 我 们 在 项 目 实施 中 用 得 最 多 的 还 是 LVS/DR+Keepalived。 

“ 无 流量 ， 保 证 均衡 器 IO 的 性 能 不 会 受到 大 流量 的 影响 。 

“应 用 范围 较 广 ， 可 以 对 所 有 应 用 做 负载 均衡 。 

“ 软件 本 身 不 支持 正则 处 理 ， 不 能 做 动静 分 离 ， 这 是 比较 遗憾 的 一 点 。 其 实现 在 许多 网 站 在 这 方面 都 有 较 强 的 需求 ， 这 个 是 Nginx/HAProxy+Keepalived 的 优势 所 在 。 


:如果 网 站 应 用 比较 庞大 ， 实 施 LVSV/DR+Keepalived 就 比较 复杂 了 ， 特 别 是 后 面 有 Windows Server 应 用 机 器 的 话 ， 实 施 及 配置 还 有 维护 过 程 就 会 比较 复杂 ， 相 对 而 言 ，Nginx/HAProxy+Keepalived 就 简单 
Ea 


Nginx 的 特点 是 : 

: 工作 在 网 络 的 7 层 之 上 ， 可 以 针对 http 应 用 做 一 些 分 流 的 策略 ， 比 如 针对 域名 、 目 录 结 构 ， 它 的 正则 规则 比 HAProxy 更 为 强大 和 灵活 ， 这 也 是 许多 朋友 喜欢 它 的 原因 之 一 。 

“ Nginx 对 网 络 的 依赖 非常 小 ， 理 论 上 能 ping 通 就 能 进行 负载 功能 ， 这 也 是 它 的 优势 所 在 。 

“ Nginx 安 装 和 配置 比较 简单 ， 测 试 起 来 比较 方便 。 

“ 可 以 承担 高 的 负载 压力 且 稳 定 ， 一 般 能 支撑 超过 几 万 次 的 并 发 量 。 

“ Nginx 可 以 通过 端口 检测 到 服务 器 内 部 的 故障 ， 比 如 根据 服务 器 处 理 网 页 返回 的 状态 码 、 超 时 等 ， 并 且 会 把 返回 错误 的 请 求 重新 提交 到 另 一 个 节点 ， 不 过 其 中 的 缺点 是 不 支持 ud 检测 。 
“ Nginx 仅 能 支持 HTTP 和 Email， 这 样 在 适用 范围 上 就 会 小 很 多 ， 这 是 它 的 弱势 。 


: Nginx 不 仅仅 是 一 款 优 秀 的 负载 均衡 器 / 反 向 代理 软件 ， 同 时 也 是 功能 强大 的 Web 应 用 服务 器 。LNMP 现 在 也 是 非常 流行 的 web 架 构 ， 大 有 和 以 前 最 流行 的 LAMP 架 构 分 庭 抗争 之 势 ， 在 高 流量 的 环境 中 也 
有 很 好 的 效果 。 











现在 Nginx 作 为 Web 反 向 加 速 缓存 越 来 越 成 熟 了 ， 很 多 朋友 都 已 在 生产 环境 中 投入 生产 ， 而 且 反映 效果 不 错 ， 速 度 比 传统 的 Squid 服 务 器 更 快 ， 有 兴趣 的 朋友 可 以 考虑 用 其 作为 反 向 代理 加 速 器 。 











HAProxy 的 特点 是 : 

“ 抗 负载 能 力 强 ， 兼 备 4 层 和 7 层 负 载 均 衡 的 作用 ， 可 以 代替 LVS 用 于 4 层 负载 均衡 分 发 流量 。 

' HAProxy 支 持 虚 拟 主机 。 

:能够 补充 Nginx 的 一 些 缺 点 ， 比 如 Session 的 保持 、Cookie 的 引导 等 工作 。 

“ 支持 URL 检 测 ， 这 种 检测 机 制 对 于 后 端的 服务 器 中 出 问题 的 检测 会 有 很 好 的 帮助 。 

“ 它 跟 LVS 一 样 ， 本 身 仅 仅 只 是 一 款 负载 均衡 软件 ， 单 纯 从 效率 而 言 ，HAProxy 比 Nginx 有 更 出 色 的 负载 均衡 速度 ， 在 并 发 处 理 上 也 更 优 于 Nginx。 


" HAProxy 可 以 用 于 MYSQL 读 写 分 离 架构 时 对 Mysql 读 功能 的 集群 机 器 进行 负载 均衡 ， 对 后 端的 MYSQL 节 点 进行 负载 均衡 ， 不 过 在 后 端的 MySQL 节 点 机 器 数量 超过 10 台 时 ， 性 能 不 如 LVS。 


5.7 ”四 层 负 载 均衡 和 七 层 负载 均衡 工作 流程 的 对 比 
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按照 七 层 网 络 协议 栈 的 层 的 划分 ， 负 载 均衡 设备 可 以 划分 为 四 层 负载 均衡 和 七 层 负载 均衡 。 其 中 ， 四 层 负载 均衡 是 基于 IP+ 端 口 的 负载 均衡 ， 它 能 够 对 报 文 进行 按 IP 分 发 ， 七 层 负载 均衡 是 基于 URL 地 址 
的 服务 器 负载 均衡 ， 它 能 够 针对 七 层 报 文 内 容 进行 解析 ， 并 根据 其 中 的 URL 关 键 字 进 行 逐 包 转 发 ， 比 较 常 见 的 功能 就 是 我 们 说 的 “动静 分 离 ” ( 即 静态 内 容 ， 如 JPG、HTML、CSS 和 JS 文件 分 发 到 Nginx 服 
务 器 处 理 ，PHP 或 JSP 动 态 文件 分 发 到 Apache 服 务 器 或 Tomcat 服 务 器 处 理 ) 。 四 层 负载 均衡 的 典型 代表 是 LVS， 七 层 负载 均衡 的 典型 代表 是 Nginx 和 HAProxy ( 注 : HAProxy 既 可 以 做 四 层 均 衡 设备 ， 又 可 
以 做 七 层 负载 均衡 设备 ) 。 












































这 里 以 常见 的 LVS/DR 模 式 举例 说 明 四 层 负载 均衡 工作 流程 ， 如 图 5-13 所 示 。 




















客户 机 负载 均衡 只 放 备 





:GD 客户 机 发 出 请 求 ， 源 地 址 


@@ 负载 均衡 设 

为 客户 端 公 地 址 ”目的 地 : oe 
址 为 集群 VIP 地 址 
一 


; ”@@ 转 发 客户 机 请 求 

> 

: @LB 将 请 求 分 发 ， 源 地 址 为 
客户 端 人 P 弛 址 ， 日 的 地 址 为 
集群 VIP 地 址 ，MAC 地 址 为 
服务 器 MAC 地 址 


回 服务 器 端 发 出 响应 ， 将 源 地 址 JP 更 改 为 集群 VIP 地 址 ， 目 的 地 址 为 客户 机 IP 地 址 





图 5-13 LVS/DR 四 层 负载 均衡 工作 流程 





如 图 5-13 所 示 ，LVS/DR 四 层 负载 均衡 工作 流程 如 下 : 





1) 客户 机 向 负载 均衡 设备 发 出 请 求 ， 源 地 址 为 客户 机 的 IP 地 址 ， 目 的 地 址 为 整个 集群 的 VIP 地 址 ; 
2) 交换 机 转发 客户 机 的 请 求 ; 


3) LVS 负 载 均衡 服务 器 利用 自 带 的 算法 (一般 是 wr 或 wlc) 进行 算法 调度 ， 将 请 求 转 到 后 端的 某 一 台 真 实 Web 服 务 器 ; 





4) 此 时 请 求 报 文 的 源 地 址 仍 为 客户 机 的 IP 地 址 ， 目 的 地 址 为 集群 VIP 地 址 ， 但 MAC 地 址 被 LVS 负 载 均衡 服务 器 更 改 为 后 端的 真实 服务 器 MAC 地 址 ; 


5) 后 端的 真实 服务 器 发 出 响应 ， 源 地 址 为 集群 VIP 地 址 ， 目 的 地 址 为 客户 端 |P 地 址 ， 不 通过 LVS 负 载 均衡 服务 器 ( 报 文 仍然 要 经 过 交换 机 ) 直接 与 客户 机 发 生 联 系 ， 回 应 客户 机 最 初 发 出 的 HTTP 请 求 。 








这 里 以 常用 的 Nginx 负 载 均衡 设备 举例 说 明 七 层 负载 均衡 工作 流程 ， 如 图 5-13 所 示 : 








如 图 5-14 所 示 ， 七 层 负载 均衡 工作 流程 如 下 : 





1) 客户 机 向 Nginx 负 载 均衡 设备 发 送 请 求 ， 建 立 TCP 连 接 ， 源 地 址 为 客户 端 |P 地 址 ， 目 的 地 址 为 集群 VIP 地 址 ; 








2) Nginx 均 衡 设备 利用 自 带 的 算法 (如 wrr、ip_hash 等 ) 进行 调度 ， 建 立 TCP 连 接 ， 将 客户 机 的 请 求 发 送 到 后 面 的 某 一 台 真 实 Web 服 务 器 上 面 ， 此 时 源 地 址 为 客户 机 IP 地 址 ， 目 的 地 址 为 某 台 真实 服务 
器 的 IP 地 址 ; 























客户 机 负载 均衡 此 设备 
-ARE 





人 客户 机 发 出 请 求 ， 源 地 址 L |@ 负载 均衡 调度 : 
; ”为 客户 端 耻 地 址 ， 日 的 地  : : 
: ” 址 为 集群 VIP 地 址 : ”名 建立 TCP 连 接 ,， 源 地 址 为 客户 机 IP | 
-EE 地 址 ， 目 的 地 址 为 服务 器 了 地 址 


@ 负载 均衡 设备 向 真实 服务 器 发 出 请 求 : 


一 一 

图 服务 器 发 出 响应 ， 源 地 址 为 服务 器 了 

@ 响应 ,将 源 地 址 转化 为 集群 ” : ”地 址 ， 目 的 地 址 为 客户 端 P 地 址 。 
VIP 地 址 ， 目 的 地 址 为 客户 端 。 关 一 一 一 一 一 一 一 一 一 一 一 一 一 一 
TP 地 址 : 





图 5-14 七 层 负 载 均衡 工作 流程 
3) Nginx 负 载 均衡 设备 向 后 端的 某 台 真实 服务 器 发 出 请 求 ; 


4) 真实 Web 服 务 器 端 发 出 响应 ， 此 时 源 地 址 为 真实 服务 器 IP 地 址 ， 目 的 地 址 为 客户 端 |P 地 址 ; 





5) 报 文 经 过 Nginx 七 层 负载 均衡 设备 时 ， 源 地 址 被 还 原 为 集群 VIP 地 址 ， 目 的 地 址 为 客户 端 |P 地 址 。 














以 上 就 是 四 七 层 负载 均衡 设备 的 工作 流程 ， 通 过 对 比 可 以 发 现 : 四 层 负载 均衡 设备 (如 LVS/DR) 的 优势 在 于 面 对 大 流量 的 冲击 时 ， 报 文 只 是 单方 面 经 过 四 层 负载 均衡 设备 ， 负 载 均衡 设备 负担 很 小 ， 不 
易 成 为 网 站 或 系统 瓶颈 (特别 适用 于 CDN 场 景 ) ; 而 七 层 负载 均衡 在 分 流 过 程 中 能 够 对 应 用 层 协 议 进 行 深度 识别 ， 带 来 更 精细 化 均衡 的 可 能 ， 再 加 上 HTTP 协 议 应 用 广泛 并 且 相 对 简单 ， 所 以 七 层 负载 均衡 
对 HTTP 请 求 进行 负载 均衡 的 商用 能 力 最 强 。 四 层 负载 均衡 (LVS) 因 无 法 对 七 层 业务 实现 按 内 容 转 发 ， 限 制 了 其 适用 范围 ， 因 此 目前 七 层 负载 均衡 (HAproxy 或 Nginx) 已 逐渐 成 为 负载 均衡 技术 的 主流 
(尤其 在 电子 商务 领域 ) 。 









































































































































5.8 ”Linux 集 群 的 总 结 和 思考 


下 面 结合 工作 中 的 实践 ， 跟 大 家 分 享 和 交流 关于 Linux 集 群 的 几 个 重要 知识 点 ， 希 望 能 对 大 家 的 工作 有 所 帮助 。 














山 

















1) 目前 网 站 架构 一 般 分 为 负载 均衡 层 、Web 层 和 数据 库 层 ， 笔 者 一 般 还 会 多 加 一 层 ， 即 文件 服务 器 层 ， 因 为 随 着 网 站 的 流量 越 来 越 多 ， 文 件 服务 器 的 压力 也 越 来 越 大 ， 如 果 觉 得 
DRBD+Heartbeat+NFS 架 构 在 后 期 压力 太 大 ， 可 以 考虑 图 片 单独 分 离 ， 或 者 在 前 端 采 用 CDN 的 方式 来 解 组 海量 图 片 的 压力 。 网 站 最 前 端的 负载 均衡 层 称 为 Director， 它 起 分 摊 请 求 的 作用 ， 最 常见 的 就 是 
轮 询 ， 这 是 每 一 台 负 载 均衡 器 都 自 带 的 基本 功能 。 



















































































2) F5 是 通过 硬件 的 方式 实现 负载 均衡 的 ， 在 CDN 系 统 上 使 用 较 多 ， 用 于 Squid/Varnish 反 向 加 速 集群 的 负载 均衡 ， 是 专业 的 硬件 负载 均衡 设备 ， 适 合 每 秒 新 建 连接 数 和 并 发 连接 数 要 求 高 的 场景 。LVS 
和 HAProxy 是 通过 软件 的 方式 实现 的 ， 但 其 稳定 性 也 相当 强悍 ， 在 处 理 高 并 发 的 情况 时 有 着 相当 不 俗 的 表现 。 至 于 Nginx， 笔 者 比较 倾向 于 将 其 放 在 整个 系统 或 网 站 的 中 间 层 ， 让 其 作为 中 间 层 的 负载 均衡 
器 ， 这 样 效 果 更 好 。 














3) Nginx 对 网 络 的 依赖 较 小 ， 理 论 上 只 要 ping 得 通 ， 网 页 访问 正常 ，Nginx 就 能 连 得 通 。Nginx 还 能 区 分 内 外 网 ， 如 果 是 同时 拥有 内 外 网 的 节点 ， 就 相当 于 单机 拥有 了 备份 线路 。LVS 则 比较 依赖 于 网 
络 环境 ， 如 果 采 用 的 是 LVS/DR 模 式 ， 利 用 LVS 分 流 的 服务 器 都 必须 在 同一 机 房 的 同一 交换 机 上 ， 有 时 不 得 不 考虑 单 交换 机 带 来 的 单 点 故障 问题 。 












































4) 集群 是 指 负载 均衡 后 面 的 Apache 集 群 或 Tomcat 集 群 等 ， 但 有 时 候 大 家 所 谈论 的 Linux 集 群 却 泛 指 了 整个 系统 架构 ， 既 包括 了 负载 均衡 器 ， 也 包括 了 后 端的 应 用 服务 器 集群 等 。 其 实 可 以 这 样 来 加 以 
区 分 ， 如 果 专 指 小 范围 的 集群 概念 ， 可 以 指 Web 集 群 、Squid 集 群 等 ， 如 果 指 广泛 意义 上 的 集群 ， 我 们 可 以 接受 Linux 集 群 这 种 叫 法 ， 这 样 大 家 就 不 至 于 在 概念 上 混淆 了 。 















































5) 负载 均衡 高 可 用 中 的 “高 可 用 ” 指 的 是 实现 负载 均衡 器 的 HA， 即 一 台 负 载 均衡 器 坏 掉 后 另 一 台 可 以 在 小 于 1 秒 的 时 间 内 切换 ， 最 常用 的 软件 就 是 Keepalived 和 Heartbeat。 在 成 熟 的 生产 环境 下 负载 
均衡 器 方案 有 LVS+Keepalived/Heartbeat、Nginx+Keepalived。 如 果 能 保证 Heartbeat 的 心跳 线 稳定 ，Heartbeat+DRBD 也 可 应 用 于 成 熟 的 生产 环境 下 ， 适 合 NFS 文 件 服务 器 或 MySQL 的 高 可 用 环境 。 


















































6) LVS 的 优势 非常 多 ， 如 抗 负载 能 力 强 、 工 作 稳定 性 高 (因为 有 成 熟 的 HA 方案 ) 、 无 流量 的 转发 、 效 率 高 、 基 本 支持 所 有 的 TCP 应 用 (当然 包括 Web) 等 。 基 于 上 述 优点 ，LVS 拥 有 不 少 的 粉丝 ,但 它 
也 有 缺点 ， 对 网 络 的 依赖 性 太 大 了 。 在 网 络 环境 相对 复杂 的 应 用 场景 中 ， 我 们 不 得 不 放弃 它 而 选用 HAProxy 或 Nginx。 












































7) Nginx 对 网 络 的 依赖 性 小 ， 而 且 它 的 正则 表达 式 强大 且 灵 活 (个 人 觉得 比 HAProxy 简 单 
它 。 另外，Nginx+Lua 不 仅 能 作为 Web 级 别 的 防火 墙 ， 还 能 搞定 业务 中 许多 复杂 的 需求 。 








， 其 稳定 的 特点 吸引 了 不 少 人 ， 而 且 配置 起 来 也 相当 方便 和 简约 ， 在 中 小 型 项 目的 实施 过 程 中 基本 都 会 考虑 












































8) 在 大 型 网 站 架构 中 其 实 可 以 结合 使 用 F5/LVS 或 Nginx， 根 据 情况 选择 其 中 的 两 种 或 全 部 选择 。 如 果 因 为 预算 而 不 能 选择 F5 的 话 ， 那 么 网 站 最 前 端的 指向 应 该 是 LVS， 也 就 是 DNS 的 指向 应 为 LVS 均 衡 
器 ，LVS 的 优点 令 它 非 常 适 合 这 个 任务 。 那 些 重要 的 IP 地 址 ， 最 好 交 由 LVs 托 管 ， 比 如 数据 库 的 I|P、 提 供 Web 服 务 的 IP 等 ， 随 着 时 间 的 推移 ， 这 些 I[P 地 址 的 使 用 面 会 越 来 越 大 。 如 果 更 换 IP 则 故障 会 接 旺 而 























至 ， 所 以 将 这 些 重要 IP 交 给 LVs 托 管 是 最 为 稳妥 的 。 





9) 在 实际 项 目 实施 过 程 中 ， 我 们 发 现 HAProxy 和 Nginx 对 HTTPS 的 支持 都 非常 好 ， 尤 其 是 Nginx， 相 对 而 言 处 理 起 来 更 为 简便 。 至 于 HAPoryx 的 ACL 规 则 ， 这 也 是 一 个 仁者 见 仁 ， 智 者 见 智 的 问题 ， 依 
照 个 人 的 习惯 进行 选择 ， 跟 Nginx 的 rewrite 有 很 多 功能 上 的 重复 ， 大 家 二 选 一 即 可 。 








10) 如 果 是 基于 LVS+Keepalived 及 Nginx+Keepalived 架 构 的 Web 网 站 发 生 故 障 时 ， 处 理 起 来 是 很 方便 的 。 如 果 发 生 了 系统 故障 或 服务 器 相关 故障 ， 可 以 将 DNS 指 向 后 端的 某 台 真实 Web 机 器 上 ， 达 
到 短期 处 理 故 障 的 目的 。 对 于 广告 网 站 和 电子 商务 网 站 来 说 ， 流 量 就 是 业务 ， 流 量 就 是 金钱 ， 所 以 如 果 电 子 商务 网 站 出 了 问题 ， 还 是 得 尽 可 能 在 最 短 的 时 间 内 修复 故障 。 












































11) 之 前 Linux 集 群 都 被 大 家 夸大 化 了 ， 其 实 它 并 不 是 很 复杂 ， 关 键 看 个 人 的 应 用 场景 ， 哪 种 适合 就 选用 哪 种 。Nginx、HAProxy、LVS 和 F5 都 不 是 万 能 的 ， 都 有 自身 的 缺陷 ， 我 们 应 该 扬长 避 短 ， 最 大 
限度 地 发 挥 它们 的 优势 。 










































































12) 另外 关于 Session 共 享 的 问题 (这 也 是 一 个 老生 常 谈 的 问题 了 ) ，Nginx 可 以 用 ip_hash 机 制 解决 ，HAProxy 可 以 用 balance source 解 决 ， 而 LVS 则 可 以 用 会 话 保持 机 制 来 解决 。 此 外 ， 还 可 以 将 
Session 写 进 NoSQL 数 据 库 (例如 memcached 或 redis) ， 这 也 是 一 个 解决 Session 共 享 的 好 办 法 。 























13) 现在 很 多 朋友 都 用 Nginx (尤其 是 作为 Web 服 务 器 ) ， 其 实在 服务 器 性 能 优异 且 内 存 足 够 的 情况 下 ，Apache 的 抗 并 发 能 力 并 不 弱 (16GB 的 内 存 下 Apache 过 2000 并 发 问题 也 不 大 ， 当 然 ， 配 置 文 
件 也 要 优化 ) ， 整 个 网 站 的 瓶颈 应 该 还 是 在 数据 库 方面 ， 建 议 大 家 全 面 了 解 Apache 和 Nginx。 前 端 可 以 用 Nginx 作 负载 均衡 器 ， 后 端 用 Apache 集 群 作 Web 应 用 服务 器 ， 这 样 升级 以 前 的 Apache 集 群 版 本 时 
可 以 采用 切 量 的 方式 ， 达 到 平滑 升级 的 目的 ， 这 样 给 网 站 带 来 的 影响 也 是 最 小 的 。 
































































































































14) Heartbeat 的 “ 脑 裂 ”问题 没有 想象 中 的 那么 严重 ， 可 以 考虑 在 线 上 环境 下 使 用 。DRDB+ Heartbeat 算 是 成 熟 的 应 用 了 ， 建 议 大 家 掌握 这 个 知识 热点 。 笔 者 曾 在 相当 多 的 场合 中 使 用 此 组 合 蔡 代 
EMC 共 享 存储 ， 毕 竟 并 不 是 每 个 人 都 能 够 接受 商业 存储 的 价格 。 








15) 无 论 设计 的 方案 多 么 成 熟 ， 还 是 建议 配置 Nagios/Zabbix 监 控 机 制 来 实时 监控 服务 器 的 情况 。 建 议 邮件 和 短信 报警 全 都 开启 ， 毕 竟 手 机 可 以 随身 携带 。 有 条 件 的 话 还 可 以 购买 专门 的 商业 扫描 网 站 
服务 ， 例 如 Alertbot， 它 会 以 1 秒 为 频率 扫描 你 的 网 站 ， 如 果 发 现 网 站 有 宕 机 的 情况 ， 立 即 向 你 的 邮箱 中 发 送 警告 邮件 。 























16) 关于 网 站 的 安全 性 问题 ， 建 议 大 家 使 用 硬件 防火 墙 ， 比 较 推 荐 的 是 华 赛 或 Juniper 系 列 的 防火 墙 ，DDos 的 安全 防护 一 定 要 到 位 (国内 的 DDoS 攻击 还 是 挺 多 的 ， 硬 件 防火 墙 能 在 一 定 程度 上 帮忙 防 
御 部 分 流量 攻击 ) 。 实 在 没有 硬件 防火 墙 的 环境 ， 建 议 应 用 服务 器 开启 Linux 服 务 器 本 身 的 iptables 防 火 墙 ， 很 多 对 外 的 API 一 定 要 限制 公 网 |P 地 址 访问 。 另 外 ， 为 了 安全 起 见 ， 服 务 器 的 应 用 还 是 开启 得 越 
少 越 好 ， 这 样 端口 数量 也 开放 的 更 少 。 
























































5.9 小 结 














这 一 章 主要 向 大 家 介绍 了 Linux 集 群 技术 采用 的 软件 ， 例 如 LVS、HAProxy、Nginx、Keepalived 及 Heartbeat 等 ， 并 介绍 了 负载 均衡 中 用 到 的 常见 技术 ， 如 Session 共 享 、 会 话 保持 以 及 一 些 常见 的 算法 
等 。 另 外 ， 通 过 真实 项 目 演示 着 重 介 绍 了 现在 比较 流行 的 Nginx/HAProxy+Keepalived、DRBD+Heartbeat 及 DN 轮 询 等 常见 的 负载 均衡 高 可 用 技术 ， 并 简单 介绍 了 上 百 万 PV/ 日 和 上 干 万 PV/ 日 网 站 的 架构 
设计 技术 。 相 信 通 过 这 节 内 容 ， 大 家 会 对 生产 环境 下 的 Linux 集 群 有 所 了 解 。 如 今 ， 越 来 越 多 的 公司 和 企业 意识 到 了 Linux 集 群 的 稳定 和 高 效 ， 都 考虑 采用 它 为 企业 提供 负载 均衡 高 可 用 方案 。 笔 者 希望 大 家 
能 熟练 掌握 Linux 集 群 的 相关 知识 ， 为 自己 的 职业 技能 添加 技术 含金量 ， 这 对 自身 的 成 长 也 是 非常 有 帮助 的 。 






























































































































































第 6 章 ”MysSQL 性 能 调 优 及 高 可 用 案例 分 享 








随 着 网 站 的 UV 和 PV 日 渐 增多 ，POST 请 求 越 来 越 多 ， 数 据 库 的 压力 也 随 之 增加 。 究 竟 应 该 如 何 对 MySQL 数 据 库 进 行 优化 呢 ? 下 面 笔 者 将 从 MySQL 服 务 器 对 硬件 的 选择 、MySQL 的 安装 、my.cnf 配 置 文 
件 的 优化 及 架构 调整 等 方面 进行 说 明 。 在 本 章 最 后 ， 还 会 与 大 家 分 享 MySQL 和 Redis 的 高 可 用 案例 。 

















6.1 MySQL 数据 库 的 优化 





首先 ， 笔 者 将 给 大 家 分 享 工作 中 关于 MySQL 数 据 库 优化 方面 的 内 容 。 











6.1.1 ”服务 器 物理 硬件 的 优化 








在 挑选 MySQL 服 务 器 的 硬件 时 ， 我 们 应 该 从 以 下 几 个 方面 着 重 对 MySQL 服 务 器 的 硬件 配置 进行 优化 ， 也 就 是 说 将 项 目 中 的 资金 着 重 投入 到 以 下 几 处 : 





























(1) 磁盘 寻 道 能 力 (磁盘 |/O) ， 现 在 笔者 维护 的 网 站 中 采用 的 MySQL 基 本 上 都 是 SAS 15000 转 的 硬盘 ，6 块 硬盘 做 RAID 10。MySQL 每 一 秒 钟 都 在 进行 大 量 、 复 杂 的 查询 操作 ， 对 磁盘 的 读 写 量 可 想 
而 知 ， 所 以 ， 通 常 认为 磁盘 |/O 是 制约 MySQL 性 能 的 最 大 因素 之 一 。 对 于 日 均 访问 量 在 500 万 PV 以 上 的 Discuz 论 坛 ， 如 果 磁 盘 1/O 性 能 不 好 ， 直 接 造 成 的 后 果 就 是 MySQL 性 能 非常 低下 。 解 决 这 一 制约 因素 
可 以 考虑 的 方案 是 : 使 用 RAID 10 磁 盘 阵 列 ， 注 意 不 要 使 用 RAID 5 磁盘 阵列 ，MySQL 在 RAID5 磁 盘 阵 列 上 的 效率 不 会 像 预 期 中 的 那样 快 ， 如 果 资 金条 件 允 许 ， 可 以 选择 国 态 SSD 硬 盘 来 代替 SAS 硬 盘 做 RAID 
10。 





































































































(2) CPU 对 于 MySQL 的 影响 也 不 容 忽 视 ， 建 议 选 择 运算 能 力 强悍 的 CPU， 如 DELL PowerEdge R910、 英 特 尔 XEON E5504 ( 双 四 核 ) 等 ， 商 家 的 卖点 也 是 强大 的 虚拟 化 和 数据 处 理 能 力 。 














(3) 对 于 一 台 使 用 MySQL 的 数据 库 服务 器 而 言 ， 建 议 服务 器 的 内 存 不 要 小 于 4GB， 推 荐 使 用 8GB 以 上 的 物理 内 存 ， 不 过 内 存 对 于 现在 的 服务 器 而 言 基 本 是 一 个 可 以 忽略 的 问题 ， 如 果 是 高 端 服务 器 ， 
内 存 基本 都 超过 了 32GB， 我们 的 数据 库 服 务 器 都 是 64GB DDR3。 











注 
人 @ 训 建 议 采用 64 位 的 MYSQL 数据 库 系 统 ，32 位 的 系统 制约 非常 多 ， 这 一 点 会 在 后 面 加 以 实例 详细 说 明 。 


6.1.2 MySQL 配置 文件 的 优化 























解决 了 上 述 的 服务 器 硬件 制约 因素 ， 接 下 来 再 看 看 MySQL 自 身 的 优化 是 如 何 操作 的 。 MySQL 自 身 的 优化 主要 是 对 其 配置 文件 my.cnf 中 的 各 项 参数 进行 优化 调整 。 下 面 将 介绍 一 些 对 性 能 影响 较 大 的 参 









































我 们 根据 以 上 推荐 的 硬件 配置 并 结合 一 份 已 经 优化 好 的 my.cnf 进 行 说 明 。 














以 下 只 列 出 my.cnf 文 件 中 [mysqld] 段 落 里 的 内 容 ， 其 他 段落 的 内 容 对 MySQL 的 运行 性 能 影响 甚 微 ， 比 如 MySQL 的 语言 和 日 志 配置 选项 ， 这 里 暂且 忽略 。 




















[mysqld] 



































[mysqld] 组 中 包括 了 mysqld 服 务 启动 时 的 参数 ， 它 涉及 的 方面 很 多 ， 包 含 MySQL 的 目录 和 文件 、 通 信 、 网 络 、 信 息 安 全 、 内 存 管 理 、 优 化 、 查 询 缓存 区 ， 还 有 MySQL 日 志 设置 等 。 





Port = 3306 








mysqld 服 务 运行 时 的 端口 号 。 














socket = /tmp/mysql.sock 

















socket 文 件 是 在 Linux 环 境 下 特有 的 ， 用 户 在 Linux 环 境 下 进行 客户 端 连接 时 可 以 不 通过 TCP/IP 网 络 而 直接 使 用 socket 连 接 MySQL。 

















skip-external-locking 


避免 MySQL 的 外 部 锁定 ， 减 少 出 错 几率 ， 增 强 稳定 性 。 





skip-name-resolve 


























禁止 MySQL 对 外 部 连接 进行 DNS 解析 ， 使 用 这 一 选项 可 以 消除 MySQL 进 行 DNS 解析 的 时 间 。 需 要 注意 的 是 ， 如 果 开 启 该 选项 ， 所 有 远程 主机 连接 授权 都 要 使 用 |P 地 址 方式 ， 否 则 MySQL 将 无 法 正常 处 
理 连 接 请 求 。 














back log = 384 


back_log 参 数 的 值 指出 在 MySQL 和 暂时 停止 响应 新 请 求 之 前 ， 短 时 间 内 可 以 有 多 少 个 请 求 被 存在 堆栈 中 。 如 果 系统 在 短 时 间 内 有 很 多 连接 ， 则 需要 增 大 该 参数 的 值 ， 该 参数 值 指定 到 来 的 TCP/IP 连 接 的 
侦 听 队列 的 大 小 。 不 同 的 操作 系统 在 这 个 队列 的 大 小 上 有 它 自己 的 限制 。 如 果 试图 将 back_log 设 定 得 高 于 操作 系统 的 限制 将 是 无 效 的 ， 其 默认 值 为 50， 对 于 Linux 系 统 而 言 ， 推 荐 设置 为 小 于 512 的 整数 。 




















key buffer size = 384M 




















key_buffer_size 指 定 用 于 索引 的 缓冲 区 大 小 ， 增 加 它 可 得 到 更 好 的 索引 处 理性 能 。 对 于 内 存在 4GB 左 右 的 服务 器 来 说 ， 该 参数 可 设置 为 256MB 或 384MB。 不 建议 将 该 参数 值 设置 得 过 大 ， 这 样 反 而 会 
使 服务 器 的 整体 效率 降低 。 




















max allowed packet = 4M 














在 网 络 传输 中 ， 一 次 消息 传输 量 的 最 大 值 ， 系 统 默 认 值 为 1MB， 最 大 值 是 1GB， 必 须 设 定 为 1024 的 倍数 ， 单 位 为 字 节 。 


thread stack = 256K 


























设置 MySQL 每 个 线程 的 堆栈 大 小 ， 默 认 值 足够 大 ， 可 满足 普通 操作 。 可 设置 范围 为 128KB 至 4GB， 默 认 值 为 192KB。 




















table cache = 614K 














table_cache 表 示 表 高 速 缓存 的 大 小 。 当 MySQL 访 问 一 个 表 时 ， 如 果 在 MySQL 表 缓冲 区 中 还 有 空间 ， 那 么 这 个 表 就 被 打开 并 放 入 表 缓 冲 区 ， 这 样 做 的 好 处 是 可 以 更 快速 地 访问 表 中 的 内 容 。 一 般 来 说 ， 
可 以 通过 查看 数据 库 运行 峰值 时 间 的 状态 值 Open_tables 和 Opened_tables， 用 以 判断 是 否 需要 增加 table_cache 值 ， 即 open_tables 接 近 table_cache 的 时 候 ， 并 且 Opened_tables 这 个 值 在 逐步 增加 ， 那 
就 要 考虑 增加 这 个 值 的 大 小 了 。 





























sort buffer size = 6M 











查询 排序 时 所 能 使 用 的 缓冲 区 大 小 ， 系 统 默 认 大 小 为 2MB。 从 5.1.23 版 本 开始 ， 在 除了 Windows 之 外 的 64 位 平台 上 可 以 超出 4GB 的 限制 。 











人 @ 注 该 参数 对 应 的 分 配 内 存 是 每 个 连接 独占 的 ， 如 果 有 100 个 连接 ， 那 么 实际 分 配 的 总 排序 缓冲 区 大 小 为 100XGMB 一 600MB。 所 以 ， 对 于 内 存在 4GB 左 右 的 服务 器 来 说 ， 推 荐 将 其 设置 为 6MB ~8MB。 


read buffer size = 4M 











读 查 询 操作 所 能 使 用 的 缓冲 区 大 小 。 和 sort_buffer_size 一 样 ， 该 参数 对 应 的 分 配 内 存 也 是 每 个 连接 独 享 。 














join buffer size = 8M 











联合 查询 操作 所 能 使 用 的 缓冲 区 大 小 ， 和 sort_buffer_size 一 样 ， 该 参数 对 应 的 分 配 内 存 也 是 每 个 连接 独 享 。 














myisam sort buffer size = 64M 

















设置 在 REPAIR TABLE 或 用 CREATE INDEX 创 建 索引 或 ALTER TABLE 的 过 程 中 排序 索引 所 分 配 的 缓冲 区 大 小 ， 可 设置 范围 4M 至 4GB， 默 认为 8MB。 


























thread cache size = 64 




















设置 Thread Cache 池 中 可 以 缓存 的 连接 线程 最 大 数量 ， 可 设置 为 0 至 16384， 默 认为 0。 这 个 值 表示 可 以 重新 利用 保存 在 缓存 中 线程 的 数量 ， 当 断 开 连接 时 ， 如 果 缓 存 中 还 有 空间 ， 那 么 客户 端的 线程 将 
被 放 到 缓存 中 。 如 果 线 程 重新 被 请 求 ， 那 么 请 求 将 从 缓存 中 读 取 ; 如 果 缓 存 中 是 空 的 或 者 是 新 的 请 求 ， 那 么 这 个 线程 将 被 重新 创建 ; 如 果 有 很 多 新 的 线程 ， 增 加 这 个 值 可 以 改善 系统 性 能 。 通 过 比较 
Connections 和 Threads created 状 态 的 变量 ， 可 以 看 到 这 个 变量 的 作用 。 我 们 可 以 根据 物理 内 存 设置 规则 如 下 : 1G 内 存 配置 为 8，2G 内 存 配置 为 16，3G 内 存 配置 为 22，4G 或 4G 以 上 配置 为 64 或 更 大 的 数 









































值 。 





query_cache _ size = 64M 








指定 MySQL 查 询 缓冲 区 的 大 小 。 可 以 通过 在 MySQL 控 制 台 观 察 ， 如 果 Qcache lowmem_prunes 的 值 非常 大 ， 则 表明 经 常 出 现 缓冲 不 够 的 情况 ; 如果 Qcache_hits 的 值 非常 大 ， 则 表明 查询 缓冲 使 
非常 频繁 。 另 外 ， 如 果 该 值 较 小 反而 会 影响 效率 ， 那 么 可 以 考虑 不 用 查询 缓冲 。 对 于 Qcache free_blocks， 如 果 该 值 非常 大 ， 则 表明 缓冲 区 中 碎片 很 多 。 








En 






































tmp table size = 256M 


























设置 内 存 临 时 表 最 大 值 。 如 果 超 过 该 值 ， 则 会 将 临时 表 写 入 到 磁盘 ， 其 范围 为 1KB 到 4GB。 





max_connections = 768 


指定 MySQL 人 允许 的 最 大 连接 进程 数 。 如 果 在 访问 论坛 时 经 常 出 现 Too Many Connections 的 错误 提示 ， 则 需要 增 大 该 参数 值 。 





max_connect errors = 1000 





设置 每 个 主机 的 连接 请 求 异常 中 断 的 最 大 次 数 ， 当 超过 该 次 数 ，MySQL 服 务 器 将 禁止 host 的 连接 请 求 ， 直 到 MySQL 服 务 器 重启 或 通过 flush hosts 命 令 清空 此 host 的 相关 信息 ， 此 值 可 设置 为 1 至 4G， 
默认 为 10。 








wait timeout = 10 





指定 一 个 请 求 的 最 大 连接 时 间 ， 对 于 4GB 左 右 内 存 的 服务 器 来 说 ， 可 以 将 其 设置 为 5 ~ 10。 


thread concurrency = 8 





该 参数 取 值 为 服务 器 逻辑 CPU 数量 乘 以 2， 在 本 例 中 ， 服 务 器 有 2 个 物理 CPU， 而 每 个 物理 CPU 又 支持 H.T 超 线程 ， 所 以 实际 取 值 为 4x2 = 8， 这 也 是 目前 双 四 核 主流 服务 器 的 配置 。 





Skip-networking 





开启 该 选项 可 以 彻底 关闭 MySQL 的 TCP/IP 连 接 方式 ， 如 果 Web 服 务 器 是 以 远程 连接 的 方式 访问 MySQl 数 据 库 服务 器 ， 不 要 开启 该 选项 ， 否 则 将 无 法 正常 连接 。 





table cache=1024 





物理 内 存 越 大 ， 设 置 就 越 大 。 默 认为 2402， 调 整 到 512 ~ 1024 之 间 最 佳 。 





innodb additional mem pool size=4M 





默认 为 2MB。 





innodb flush log at trx commit=1 


设置 为 0 就 是 等 到 innodb log_buffer_size 列 队 满 后 再 统一 储存 ， 默 认为 1。 





innodb log buffer size=2M 





默认 为 1MB。 





innodb thread concurrency=8 











服务 器 有 几 个 CPU 就 设置 为 几 ， 建 议 用 默认 设置 ， 一 般 为 8。 











tmp table size=64M 




















默认 设置 内 存 临 时 表 最 大 值 。 如 果 超过 该 值 ， 则 会 将 临时 表 写 入 到 磁盘 ， 设 置 范 围 为 1KB 至 4GB。 





read rnd buffer size=16M 




















read_rnd_buffer_size 是 设置 进行 随机 读 的 时 候 所 使 用 的 缓冲 区 。 此 参数 和 read_buffer_size 设 置 的 Buffer 相 反 ， 一 个 是 顺序 读 的 时 候 使 用 ， 另 一 个 是 随机 读 的 时 候 使 用 。 但 两 者 都 是 针对 于 线程 的 设 
每 个 线程 都 可 以 产生 两 种 Buffer 中 的 任何 一 个 。read_rnd_buffer_size 的 默认 值 为 256KB， 最 大 值 为 4GB。 
































中 


值得 注意 的 是 ， 如 果 key_reads 太 大 ， 则 应 该 把 my.cnf 中 的 key_buffer_size 变 大 ,保持 key_reads/key_read_requests 至 少 在 1/100 以 上 ， 越 小 越 好 ; 如 果 qcache lowmem_prunes 很 大 ， 就 应 增加 
query_cache _size 的 值 。 

















不 过 ,很 多 时 候 需要 具体 情况 具体 分 析 ， 其 他 参数 的 变更 可 以 等 MySQL 稳 定 上 线 一 段 时 间 后 根据 status 值 进行 调整 。 


6.1.3 ” MySQL 上 线 后 根据 status 状 态 进 行 适当 优化 


MySQl 数 据 库 上 线 后 ， 可 以 等 其 稳定 运行 一 段 时 间 后 再 根据 服务 器 的 “status” 状态 进行 适当 优化 ， 我 们 可 以 用 如 下 命令 列 出 MySQL 服 务 器 运行 的 各 种 状态 值 : 








mysql> Show global status; 

















笔者 个 人 较 喜欢 的 用 法 是 show status like' 查 询 值 %'。 








1. 慢 查询 


有 时 为 了 定位 系统 中 效率 比较 低下 的 Query 语 名 ， 需 要 打开 慢 查 询 日 志 ， 也 就 是 Slow Query Log， 查 询 慢 查 询 




















志 的 相关 命令 如 下 : 








mysql> show variables like '%slows'; 


| Variable name Value | 

+--- 一 一- 一 一 一 -一 一 一 一 一 一 一 一 一 一 二 -一 -一 -一 -一 一 十 
| log_slow_ queries ON | 
| slow _ launch time 2 | 
+-----=------=-------- 二 -一 -一 -一 -一 一 





mysql> Show global status like '%slow%'; 
+--------------------- 二 -一 -一 一 一 -一 一 
| Variable name Value | 
+--- 一 一- 一 一 一 -一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 -一 一 十 
| Slow_launch threads 0 | 
| Slow queries 4148 | 
+-----=--------------- 二 -一 -一 -一 -一 一 十 


打开 慢 查询 日 志 可 能 会 对 系统 性 能 有 一 点 影响 ， 如 果 你 的 MySQL 是 主 -从 结构 ， 可 以 考虑 打开 其 中 一 台 从 服务 器 的 慢 查 询 
自 带 的 命令 mysqldumpslow 进 行 查询 ， 比 如 ， 下 面 的 命令 可 以 查 出 访问 次 数 最 多 的 20 个 sql 语 句 : 








mysqldumpslow -s c -t 20 host-slow.log 














志 ， 这 样 既 可 以 监控 慢 查 询 ， 对 系统 性 








全 g 上 4 
月 时 0 





响 也 会 很 小 。 另 外 ， 可 

















MySQL 





2. 连 接 数 


如 果 经 常 遇见 “MySQL:ERROR 1040:Too manyconnections” 的 问题 ， 一 种 情况 是 访问 量 确实 很 高 ，MySQL 服 务 器 抗 不 住 ， 这 个 时 候 需 要 考虑 增加 从 服务 器 分 散 读 压 力 ;另外 一 种 情况 是 MySQlL 配 


置 文件 中 max_connections 的 值 过 小 。 举 例 说 明 : 





mysql> show variables like 'max connections'; 


| Variable name 


| max_connections | 256 


这 台 MySQL 服 务 器 的 最 大 连接 数 是 256， 然 后 查询 一 下 该 服务 器 响应 的 最 大 连接 数 : 


| Value | 
+---------=------- 二 -一 -一 -一 一 十 


mysql> show global status like "Max used connections'; 


| Max used connections | 245 
二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 


一 -+ 





MySQL 服 务 器 过 去 的 最 大 连接 数 是 245， 没 有 达到 服务 器 连接 数 的 上 限 256， 应 该 不 会 上 





现 1040 错 误 ， 比 较 理想 的 设置 是 : 





Max used connections / max connections 


* 100% ~ 85% 


最 大 连接 数 占 上 限 连 接 数 的 85% 左 右 ， 如 果 发 现 比 例 在 10% 以 下 ， 则 说 明 MySQL 服 务 器 连接 数 的 上 限 设置 过 高 。 


3.Key buffer size 


key_buffer_ size 是 设置 MylISAM 表 索引 擎 缓存 空间 的 大 小 ， 此 参数 对 MyISAM 表 性 能 影响 最 大 ， 下 面 是 一 台 以 MyISAM 为 主要 存储 引擎 服务 器 的 配置 : 


mysql> show variables like 'key buffer size'; 


+----------------- +-------- 


| Variable_name | Value 
十 


-+ 


key buffer size | 536870912 | 


| 
+----------------- +-------- 


-+ 








从 上 面 的 配置 可 以 看 出 ， 系 统 分 配 了 512MB 内 存 给 key_buffer_size， 我 们 再 查看 一 下 key_buffer_size 的 使 

















情况 : 





ysql> show global status like 'key read%®'; 


IT 
+--------------------- +---- 


--------= 十 
| Variable name | Value | 
+--------- 一 -一 一 一 一 一 一 一 一 一 一 +------------- 十 
| Key_read _ requests | 27813678764 | 
| Key reads | 6798830 | 
+--------------------- +------------- 十 





一 共有 27813678764 个 索引 读 取 请 求 ， 有 6798830 个 请 求 在 内 存 中 没有 找到 ， 直 接 从 硬盘 读 取 索引 ， 计 算 索 引 未 命中 缓存 的 概率 : key_cache_miss_rate = Key reads/Key read _requests*1009%6。 





























比如 上 面 的 数据 ，key_cache_miss_rate 为 0.0244%，4000 个 索引 读 取 请 求 才 有 一 个 直接 读 硬盘 ， 已 经 很 ET 了 ，key_cache_miss_rate 在 0.1% 以 下 都 很 好 (每 1000 个 请 求 有 一 个 直接 读 硬 盘 ) ， 如 果 


key_cache_miss_rate 在 0.01% 以 下 ,说 明 key_buffer_size 分 配 过 多 ， 可 以 适当 减少 。 


MySQL 服 务 器 还 提供 了 key_blocks_* 参 数 ， 如 下 所 示 : 





mysql> show global status like 'key blocks u%'; 
十 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 十 
| Variable_name | Value | 
+---------=---------- + 一 一 一 -一 -一 -一 一 十 
| Key blocks_ unused | 0 | 
| Key_blocks_used | 413543 | 
-一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 一 一 一 一 一 一 一 一 一 











Key_blocks_unused 表 示 未 使 
把 缓存 占 满 了 。 比 较 理想 的 设置 是 : Key_blocks used/ (Key_blocks_unused+Key blocks used) *100%~80%。 


4. 临 时 表 


当 执 行 语句 时 ， 关 于 已 经 被 创造 的 隐 含 临时 表 的 数量 ， 我 们 可 以 











的 缓存 艇 (blocks) 数 ，Key_blocks_used 表 示 曾 经 用 到 的 最 大 的 blocks 数 ， 比 如 这 人 台 服 务 器 ， 所 有 的 缓存 都 用 到 了 ， 要 么 增加 key_buffer_size， 要 么 就 是 过 渡 索 引 ， 























如 下 命令 查 知 其 





体 情况 : 








Wysel> show global status 各 全 的 | tmps' 


7 Variable name | Value | 
二 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 中 
| Created tmp disk tables 1 21197 | 
| Created tmp : files 1 35 | 
3 Created 1 | tmp 1 ) tables a 1771587 . 





每 次 创建 临时 表 时 ，Created_tmp_tables 都 会 增加 ， 如 果 是 在 磁盘 上 创建 临时 表 ，Created_tmp_disk_tables 也 会 增加 。Created_tmp files 表 示 MySQL 服 务 创 建 的 临时 文件 数 ， 比 较 理想 的 配置 是 : 
Created tmp _disk tables/Created tmp tables*100%< =25%.。 


比如 上 面 的 服务 器 Created_tmp_disk_tables/Created tmp tables*100% = 1.20%， 应 该 说 已 经 相当 不 错 了 。 我 们 再 看 一 下 MySQL 服 务 器 对 临时 表 的 配置 : 





mysql> show variables where Variable name in ('tmp table size', 'max heap table size'); 


+--------------------- 二 -一 -一 -一 -一 -一 一 十 
| Variable name | Value | 
---------=----------- 十 -一 一 一 一 一 一 一 一 一 一 十 
| max heap table size | 268435456 | 
| tmp ) table : size | 536870912 | 
二 +- 一- 一 -一 一 一 一 一 一 一 -一 一 一 一 一 一 二 -一 -一 一 一 -一 -一 一 十 





只 有 256MB 以 下 的 临时 表 才 能 全 部 放 在 内 存 中 ， 超 过 的 就 会 放 到 硬盘 临时 表 。 


5.Open Table 的 情况 















































Open _tables 表 示 打开 表 的 数量 ，Opened tables 表 示 打 开 过 的 表 数 量 ， 可 以 用 如 下 命令 查看 其 具体 情况 : 





NYS show ER 后 like "opengstablesgs'7 
T Variable name T Value 1 

+---------=----- 二 -一 -一 -一 一 十 

| Open tables | 919 | 

| Opened tables | 1951 | 

+ 十 





如 果 Opened tables 数 量 过 大 ， 说 明 配 置 中 table_cache (MySQL5.1.3 之 后 这 个 值 叫做 table_ open_cache) 的 值 可 能 太 小 ， 我 们 查询 一 下 服务 器 table_cache 值 : 





Mya show ae like 'table cache'; 





te 未 

| Variable name | Value | 
十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 十 
| table_cache 7 2048 | 
+--------------- 二 -一 -一 -一 一 十 
比较 合适 的 值 为 : 





Open tables / Opened tables * 100% >= 85% 
Open tables / table cache * 100% <= 95% 








6. 进 程 使 用 情况 


如 果 我 们 在 MySQL 服 务 器 的 配置 文件 中 设置 了 thread_cache_size， 当 客户 端 断 开 之 时 ， 服 务 器 处 理 此 客户 请 求 的 线程 将 会 缓存 起 来 以 响应 下 一 个 客户 而 不 是 销毁 (前 提 是 缓存 数 未 达 上 限 ) 。 
Threads created 表 示 创 建 过 的 线程 数 ， 可 以 用 如 下 命令 查看 : 





2 Show global a like 'Threads'; 


te + 
| Variable name | Value | 
= A 

| Threads cached 46 | 
| Threads connected | 2 | 
| Threads created | 与 70 | 
| Threads running lL 1 | 
+--- 一 -一 一 一 一 一 一 一 一 一 一 一 -十 一 一 一 一 一 一 十 





如 果 发 现 Threads _created 的 值 过 大 ， 表 明 MySQL 服 务 器 一 直 在 创建 线程 ， 这 也 是 比较 耗费 资源 的 ， 可 以 适当 增 大 配置 文件 中 thread_cache_size 的 值 ， 查 询 服务 器 thread_cache _size 配 置 ， 如 下 所 





| 





mysql> show variables like 'thread cache size'; 
十 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 十 
Variable_name 本 Value | 


示例 中 的 MySQL 服 务 器 还 是 比较 健康 的 。 


7. 查 询 缓存 (query cache) 









































它 涉及 的 主要 有 两 个 参数 ，qrery_cache_size 和 query_cache_type。 其 中 query_cache _size 设 置 MySQL 的 Query Cache 大 小 ，query_cache_type 设 置 使 用 查询 缓存 的 类 型 ， 可 以 用 如 下 命令 查看 其 
体 情况 : 





Tysal> show global status 人 'qcaches'; 
+ 


Variable name | Value | 
一 一 一 一 一 一 一 一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 十 
| Qcache free blocks | 22756 | 
| Qcache free memory | 76764704 | 
| Qcache hits | 213028692 | 
| Qcache _ inserts | 208894227 | 
| Qcache - >_lowmem prunes | 4010916 | 
| Qcache not_ cached ] 13385031 | 
| Qcache « queries _ in cache | 43560 | 
| Qcache total 1 blocks | .T1212 | 
十 -一 -一 -一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 一 一 一 一 一 十 





MySQL 查 询 缓存 变量 的 相关 解释 如 下 所 示 : 


: Qcache_free_blocks: 缓存 中 相 邻 内 存 块 的 个 数 ， 数 目 大 说 明 可 能 有 碎片 。FLUSH QUERY CACHE 会 对 缓存 中 的 碎片 进行 整理 ， 从 而 得 到 一 个 空闲 块 。 


` Qcache_free_memory: 缓存 中 的 空闲 内 存 。 
“ Qcache_hits: 表示 有 多 少 次 命中 。 通 过 这 个 参数 可 以 查看 到 Query Cache 的 基本 效果 。 
“ Qcache_inserts: 每 插入 一 个 查询 时 就 会 增 大 。 命 中 次 数 除 以 插入 次 数 就 是 不 中 比率 。 


“ Qcache_ lowmem_prunes: 表示 有 多 少 条 Query 因 为 内 存 不 足 而 被 清除 出 Query Cache。 通 过 “Qcache lowmem_prunes” 和 “Qcache_free_memory” 相 互 结合 ， 能 够 更 清楚 地 了 解 系统 中 Query Cache 的 内 存 


大 小 是 否 真 的 足够 ， 是 否 频繁 出 现 因为 内 存 不 足 而 有 Query 被 换 出 的 情况 。 
“ Qcache_not_cached: 不 适合 进行 缓存 的 查询 数量 ， 通 常 是 由 于 这 些 查询 不 是 SELECT 语 自 或 用 了 how () 之 类 的 函数 。 
* Qcache_queries_in_cache: 当前 缓存 的 查询 (和 响应 ) 数量 。 
Qcache_total_blocks: 缓存 中 块 的 数量 。 


我 们 再 查询 一 下 服务 器 上 关于 query_cache 的 配置 : 








mysql> show variables like 'query cache%®'; 
本 


1 

一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 -一 一 一 一 一 一 一 一 一 一 十 
| query cache limit | 2097152 | 
| query cache min res unit | 4096 | 
| query cache size | 203423744 | 
| query cache type | ON 

| query cache wlock invalidate | OFF | 
二 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -一 一 + 一 一 一 一 -一 一 一 一 + 





各 字段 的 解释 如 下 所 示 : 
“query_cache_limit: 超过 此 大 小 的 查询 将 不 缓存 。 
“guery_cache_min_res_unit: 缓存 块 的 最 小 值 。 
“ query_cache_size: 查询 缓存 大 小 。 
“ query_cache_type: 缓存 类 型 ， 决 定 缓存 什么 样 的 查询 ， 示 例 中 表示 不 缓存 select sql_no_cache 查 询 。 


“query_cache_wlock_invalidate: 表示 当 有 其 他 客户 端正 在 对 MYISAM 表 进行 写 操作 时 ， 读 请 求 是 要 等 WRITE LOCK 释 放 资 源 后 再 查询 还 是 允许 直接 从 Query Cache 中 读 取 结果 ， 默 认为 FALSE (可 以 直接 


从 Query Cache 中 取得 结果 ) 。 
query_cache_min_res_unit 的 配置 是 一 柄 “ 双 刃 剑 ”， 默 认 是 4KB， 设 置 值 大 对 大 数据 查询 有 好 处 ， 但 如 果 都 是 小 数据 查询 ， 就 容易 造成 内 存 碎片 和 浪费 。 


查询 缓存 碎片 率 二 Qcache_free_blocks/Qcache_total_blocks*100% 








如 果 查 询 缓存 碎片 率 超过 20%， 可 以 用 FLUSH QUERY CACHE 整 理 缓存 碎片 ， 或 者 如 果 你 的 查询 都 是 小 数据 量 ， 尝 试 减 小 query_cache_min_res_unit。 








查询 缓存 利用 率 二 (query_cache_size 一 Qcache_free_memory) /query_cache_size*100% 














查询 缓存 利用 率 在 25% 以 下 说 明 query_cache_size 设 置 过 大 ， 可 适当 减 小 ; 查询 缓存 利用 率 在 80% 以 上 和 且 Qcache_ lowmem_prunes > 50 则 说 明 query_cache_size 可 能 过 小 ， 或 是 碎片 太 多 。 




















查询 缓存 命中 率 王 〈Qcache_hits 一 Qcache_inserts) /Qcache_hits*+100% 

















示例 服务 器 中 的 查询 缓存 碎片 率 等 于 20.46%， 查 询 缓存 利用 率 等 于 62.26%， 查 询 缓存 命中 率 等 于 1.94%， 说 明 命中 率 很 差 ， 可 能 写 操作 比较 频繁 ， 而 且 可 能 存在 碎片 。 























8 排序 使 用 情况 












































表示 系统 中 对 数据 进行 排序 时 使 用 的 Buffer， 我 们 可 以 用 如 下 命令 查看 : 








mysql> show global status like 'sort%'; 
+— 一 一 一 一 一 一 一 一 一 一 一 一 十 一 一 一 一 一 一 一 一 





Sort merge passes | 29 | 


37432840 | 
9178691532 | 
1860569 | 


Sort rows 


| 

| Sort range 
| 2 

| Sort scan 


十 
| 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
事 二 号 三 
| 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
所 








Sort_merge_passes 包 括 如 下 步骤 : MySQL 首 先 会 尝试 在 内 存 中 排序 ， 使 用 的 内 存 大 小 由 系统 变量 sort_buffer size 决 定 ， 如 果 它 不 够 大 ， 则 把 所 有 的 记录 都 读 到 内 存 中 ， 而 MySQL 则 会 把 每 次 在 内 存 
中 排序 的 结果 存 到 临时 文件 中 ， 等 MySQL 找 到 所 有 记录 之 后 ， 再 把 临时 文件 中 的 记录 做 一 次 排序 ， 这 次 再 排序 就 会 增加 sort_merge_passes。 实 际 上 ，MySQL 会 用 另 一 个 临时 文件 来 存储 再 次 排序 的 结果 ， 
所 以 我 们 通常 会 看 到 sort_merge_passes 增 加 的 数值 是 创建 临时 文件 数 的 两 倍 。 因 为 用 到 了 临时 文件 ， 所 以 速度 可 能 会 较 慢 ， 增 大 sort_buffer size 会 减少 sort merge _passes 和 创建 临时 文件 的 次 数 ， 但 言 
目地 增 大 sort_buffer_size 并 不 一 定 能 提高 速度 。 















































9 文件 打开 数 (open files) 


我 们 在 处 理 MySQL 故 障 时 发 现 ， 当 open_files 大 于 open_files limit 值 时 ，MySQL 数 据 库 就 会 发 生 卡 住 的 现象 ， 导 致 Apache 服 务 器 也 打 不 开 相应 页 面 ， 大 家 在 工作 中 要 注意 这 个 问题 ， 我 们 可 以 用 如 下 
命令 查看 其 具体 情况 : 




















mysql> show global status like 'open files'; 
+ 








一 一 一 一 -一 一 一 一 一 一 一 一 一 一 一 一 一 二- 一 一 一 一 一 一 十 
Variable name | Value | 
二 -一 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 + 
Open files 1 1410 | 
+----- 一 -一 -一 一 -一 一 + 一 一 -一 一 + 
mysql> show variables like 'open files limit'; 
二 -一 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 + 一 -一 -一 + 
Variable name | Value | 
十 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 + 
open files limit | 4590 | 
二 -一 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 + 一 一 -一 -一 + 
比较 合适 的 设置 是 : Open files/open files limit*100%<=75%。 


置 此 项 参数 。 以 笔者 的 生产 数据 库 ( 


10.Innodb_buffer_pool size 的 合理 设置 


InnoDB 存 储 引擎 的 缓存 机 制 和 MylSAM 的 最 大 区 别 在 了 
及 索引 数据 的 最 主要 缓存 空间 ， 对 InnoDB 整 体 性 能 



























































FF，InnoDB 不 仅仅 缓存 索引 ， 同 时 还 会 缓存 实际 的 数据 。 此 参数 用 于 设置 InnoDB 最 主要 的 buffer (InnoDB buffer pool) 大 小 ， 也 就 是 用 户 表 
影响 也 最 大 。 


无 论 是 MySQL 官 方 手册 还 是 网 络 上 许多 人 分 享 的 InnoDB 优 化 建议 ， 都 是 建议 简单 地 将 此 值 设置 为 整个 系统 物理 内 存 的 50% ~ 80% 之 间 。 这 种 做 法 其 实 是 不 妥 的 ， 我 们 应 根据 实际 的 运行 场景 来 正确 设 





因为 历史 遗留 问题 ， 表 引 警 有 InnoDB 和 MylSAM 两 种 ) 为 例 ， 物 理 服务 器 总 内 存 为 8 GB， 配 置 Innodb_buffer_pool_ size 为 2048 MB， 网 站 稳定 上 线 后 ， 通 过 以 下 命令 





观察 : 

mysql> show status like 'Innodb buffer Pool %'; 

+------------------------------=---- +-=----=------ 十 
Variable name Value 

ee ee re 
Innodb buffer pool pages data 118505 
Innodb buffer Pool pages dirty 30 
Innodb buffer pool pages flushed 4061659 
Innodb buffer pool pages free 0 
Innodb buffer pool pages misc 12567 
Innodb buffer Pool pages total 131072 
Innodb buffer pool read ahead rnd | 18293 
Innodb buffer pool read ahead seq 
Innodb buffer pool read requests 3533588224 
Innodb buffer pool reads 1138442 
Innodb buffer pool wait free 0 
Innodb buffer 1 ite requests 58802802 








12 rows jn set (0.00 sec) 











通过 此 命令 得 出 的 结果 可 以 计算 出 InnoDB buffer pool 的 read 命 中 率 大 约 为 : 


write 命令 中 率 大 约 为 : 118505/131072 = 90.41%。 


我 们 发 现 这 个 值 设置 过 小 ， 后 期 考虑 将 其 增加 到 4GB 左 右 (这 个 值 的 设 定 





























(3533588224-1138442) /3533588224 = 99.96%。 


体 要 求 也 要 根据 服务 器 的 物理 内 存 而 定 ) 。 


注 
加? 位 centos 因为 系统 方面 的 制约 ， 此 值 最 大 也 只 能 配置 为 2.7GB 左 右 ， 所 以 建议 大 家 的 数据 库 系统 选择 为 64 位 的 系统 。 


6.1.4 利用 tuning-primer 脚 本 进行 数据 库 调 优 


在 工作 中 ， 等 MySQL 在 线 上 稳定 运行 一 段 时 间 后 ， 可 以 调 

















primer/trunk/1.5-r5/+download/tuning-primer.sh。 








该 脚本 使 用 “SHOW STATUS LIKE...” 和 “SHOW VARIABLES LIKE...” 命 令 获得 MySQL 的 相关 变量 和 运行 状态 。 然 后 根 : 




















识 来 提醒 用 户 需要 注意 的 各 个 参数 设置 。 




















当前 版 本 会 处 理 如 下 这 些 推荐 的 参数 : 
“ Slow Query Log ( 慢 查询 日 志 ) 
:Max Connections (最 大 连接 数 ) 

* Worker Threads (工作 线程 ) 

“ Key Buffer (Key 缓 冲 ) 

. Query Cache (查询 缓存 ) 

“Sort Buffer (排序 缓存 ) 

-Joins (连接 ) 


“Temp Tables (临时 表 ) 


“Table (Open&; Definition) Cache 〈 表 缓存 ) 


“ Table Locking ( 表 锁 定 ) 


Table Scans (read_buffer) ( 表 扫 描 ， 读 缓冲 ) 


“ InnoDB Status (InnoDB 状 态 ) 

















MySQL 调 优 脚本 tuning-primer.sh 来 检查 我 们 的 参数 是 否 合理 ， 它 的 下 载 地 址 为 : http://launchpad.net/mysql-tuning- 





笔者 用 tuning-primer.sh 脚 本 扫描 新 接手 的 一 台 MySQL 数 据 库 服务 器 后 发 现 还 是 有 很 多 问题 的 ， 比 如 : 


1) MySQL 有 时 连接 非常 慢 ， 严 重 时 会 被 拖 死 。 


通过 Show processlist 发 现 大 量 的 unauthenticated user 连 接 ， 数 据 





反应 解析 。 


发 生 这 种 情况 的 原因 也 很 简单 ，MySQL 的 认证 实际 上 是 user+host 的 形式 (也 就 是 说 user 可 以 相同 ) ， 所 以 MySQL 在 处 理 新 连接 时 会 尝试 解析 客户 端 连接 的 IP， 启 上 

















授权 的 时 候 就 只 能 用 纯 |P 的 形式 了 。 











2) 数据 库 在 繁忙 期 间 负载 很 大 ， 长 期 达到 了 13， 远 远 超过 了 系统 平均 负载 4。 


通过 脚本 扫描 ， 发 现 没有 建立 thread_cache_size， 所 以 加 上 thread_cache size=256， 





3) 数据 库 中 有 张 New_cheat_id 表 被 读 取 频繁 ， 而 有 长 期 处 于 




















初步 怀疑 为 磁盘 Il/O 压 力 过 大 所 致 ， 所 以 操作 如 下 : 





Sending data 状 态 。 














委 ; 恰 


看 启 数 





居 库 ， 数 折 


























居 库 的 平均 负载 一 下 子 降 到 了 5 ~ 6。 

















居 推 荐 的 调 优 参数 对 当前 的 MySQL 数 据 库 进 行 测试 。 最 后 根据 不 同 颜色 的 标 











肯定 每 次 都 要 响应 ， 所 以 速度 越 来 越 慢 。 解 决 方法 其 实 很 简单 ， 在 mysql.cnf 里 添加 skip-name-resolve 即 可 ， 也 就 是 不 启用 DNS 














参数 skip-name-resolve 后 MySQL 





explain SELECT count (new cheat id) FROM new cheat WHERE account id = '14348612' RND offer id = '689'\G; 


严实 次 奖 交 闪 类 闫 大庆 六 闫 六 交火 交大 交大 关 六 闪光 闪 交 大 大 ] 。 OW 关头 关头 关 炎 闪光 闪 丙 六 大 关 六 大 次 交火 交大 次 六 六 六 交 交 闪 


2 十 
select type: SIMPLE 
table: new cheat 
type: RLT 
possible keys: NULL 
~ key: NULL 
key_len: NULL 
“ref: NULL 
rows: 2529529 
Extra: Using where 


1 row in set (0.00 sec) 














这 个 问题 很 











后 来 跟 研发 团队 确认 ， 此 表 忘 记 建立 索引 了 ， 





时 致 每 次 都 是 全 表 扫 撒 2529529 行 记录 ， 严 重 消耗 服务 器 的 MO 资源 ， 所 以 立即 建 好 索引 ， 并 有 











show index 命 令 查看 表 索 引 : 





mysql> show index from new cheat; 







+—— 
| Non unique | Key name 
| Packed 


| Table 1 
Cardinality | Sub part 


| Collation| 
| Comment| 


| Seq in index | Column name 


| NulI | Index_type 


一 -上 +-. 












一 -二 
| new cheat | 0 | PRIMARY | 1 | new cheat id | A | 
2577704 | NULL | NULL | | BTREE 人 | 
| new cheat | 1 | ip | 1 jp IA | 
1288852 | NULL | NULL | | BTREE | | 
| new cheat | 1 | account idq | 1 | account id IA | 
1288852 | NULL | NULL | | BTREE | | 


4 
eh 
3 rows in set (0. 





我 们 再 看 explain 结 果 : 








mysql> explain SELECT count (new cheat id) FROM new cheat WHERE account id = '14348612' AND offer id = '689'\G; 


玉 认 六 闪 六 大 类 大 大 交大 关 次 闪光 大大 交大 关 六 类 次 奖 关 交大 ] 。 下 OUWT 庆 大 责 关 六 闪光 交大 大大 关 六 大 次 次 类 交大 大 大庆 六 交 交 大 


dp 和 3 
select type: SIMPLE 
table: new cheat 
type: ref 
possible keys: account id 
key: account id 
key len: 4 3 
ref: const 
rows: 6 
Extra: Using where 


1 row in set (0.00 sec) 














大 家 可 以 发 现 ， 建 立 索 引 后 ， 此 SQL 通 过 account id 索引 直接 读 取 了 6 条 记录 就 获得 了 查询 结果 ， 系 统 负载 由 5 ~ 6 直接 降 到 了 3.07 ~ 3.66。 





附 上 我 们 的 电子 订单 系统 MySQL 数 据 库 (服务 器 为 DELL R710，16G 内 存 ，RAID 10， 表 引擎 为 MyISAM) 调整 后 所 运行 的 配置 文件 /etc/my.cnf， 大 家 可 以 根据 
调整 此 配置 文件 ， 其 文件 内 容 如 下 所 示 : 








自己 实际 的 MySQL 数 据 库 的 硬件 情况 





[client] 

Gefault-character-set=utf8 

port = 3306 

socket = /tmp/mysql.sock 
[mysqld] 

user = mysql 

port = 3306 

socket = /tmp/mysql.sock 
basedir = /usr/local/mysql 
datadir = /data/mysql/data 
log-error = /data/mysql/mysql-error.1og 
pid-file = /data/mysql/mysql .pid 
old-passwords 支 者 

log_ slave updates =1 

log-bin = /data/mysql/binlog/mysql-bin 
binlog format = mixed 

binlog cache size = 4M 

max binlog cache size = 8M 

max binlog size = 1G 

expire logs days = 90 

binlog-ignore-db = mysql 
binlog-ignore-db = Test 


binlog-ignore-db 








key buffer size = 384M 

sort buffer size = 2M 

read buffer size = 2M 

read_rnd buffer size = 16M 

join buffer size = 2M 

thread cache size =8 
query_cache size = 32M 

query_ cache limit = 2M 

query cache min res unit = 2k 

thread concurrency = 32 

table cache = 614 
table open cache 512 
open fFiles limit 10240 
back log 600 
max_connections 5000 
max connect errors 6000 
external-locking = FALSE 
max allowed packet 16M 
default-storage-engine MyISAM 
thread stack 192K 
transaction isolation READ-COMMITTED 
tmp table size 256M 
max heap table size 512M 
bulk insert buffer size = 64M 
myisam sort buffer size = 64M 
myisam max sort file size = 10G 
myisam repair threads =1 
myisam recover 

long query time = 2 


slow query_ log 

Slow query 1og file = 
skip-name-resolve 

skip-locking 

Skip-networking 


/data/mysql/slow.1og 





innodb additional mem Pool size = 16M 

innodb buffer pool size = 512M 

innodb data file path = ibdatal:256M:autoextend 
innodb file io threads 4 

innodb thread concurrency 8 

innodb flush Iog at trx commit = 2 


innodb log buffer _ size = 16M 
innodb log file size = 128M 
innodb log files in group = 3 

innodb max dirty pages pct = 9| 
innodb lock wait _ timeout =1 
innodb file per table =0 


mysqldump] 
quick 
max allowed packet = 64M 


mysql] 

no-auto-rehash 

Remove the next comment character if you are not familiar with SQL 
safe-updates 


myisamchk] 
key buffer size = 256M 
sort buffer size = 256M 

read buffer M 

write buffer M 


DD 





mysqlhotcopy] 
interactive-timeout 





6.1.5 ”MySQL 架构 设计 调 优 














笔者 曾 在 前 面 的 章节 提 到 ， 在 设计 高 并 发 高 性 能 网 站 ， 后 端的 MySQL 数 据 库 压力 巨大 且 涉 及 定时 抢 红 包 和 秒杀 等 特殊 业务 的 时 候 ， 无 论 怎么 设计 和 调 优 MySQL 数 据 库 层 ， 在 单位 时 间 都 是 顶 不 住 压力 
的 。 这 个 时 候 ， 我 们 需要 在 MySQL 数 据 库 层 的 前 面 引入 NoSQL 数 据 缓存 ， 比 如 最 常见 的 成 熟 开 源 软件 redis， 这 里 也 设计 成 集群 的 形式 ， 提 供 对 外 服务 。 这 里 可 以 做 几 部 分 工作 : 第 一 ， 把 部 分 业务 直接 分 
到 redis 集 群 ， 程 序 直接 读 取 redis 集 群 来 缓 减 MySQL 的 压力 ; 第 二 ，redis 缓 存 海量 的 小 数据 文件 ， 程 序 先 读 取 redis 缓 存 ， 如 果 没 有 的 话 ， 再 到 后 端 MySQL 数 据 库 上 去 读 取 数据 ; 第 三 ， 引 入 RabbitMQ 消 息 



























































中 间 件 ， 以 任务 异步 的 方式 来 处 理 业务 。 这 样 设计 的 话 ，MySQl 数 据 库 层面 的 压力 就 会 小 很 多 。 








其 实 很 多 时 候 我 们 会 发 现 ， 在 工作 中 通过 参数 设置 进行 性 能 优化 所 带 来 的 提升 ， 并 不 如 许多 人 想象 的 那样 产生 质 的 飞跃 ， 除 非 是 之 前 的 设置 存在 严 
过 DBA 在 数据 库 上 线 后 进行 参数 调整 ， 而 应 该 在 系统 架构 设计 和 开发 阶段 就 尽 可 能 地 减少 性 能 问题 。 








6.2 ”MysQl 数 据 库 的 高 可 用 架构 方案 
























































重 不 合理 的 情况 。 我 们 不 能 将 性 能 调 优 完全 依托 于 通 


如 果 凭借 MySQL 的 优化 仍 无 法 顶 住 压力 ， 这 个 时 候 就 必须 考虑 MySQL 的 可 括 展 性 架构 了 (也 有 人 将 它 说 成 是 MySQL 集 群 ) ， 它 的 优势 还 是 很 明显 的 ， 如 : 


“成 本 低 ， 很 容易 通过 价格 低廉 的 PC Server 搭 建 出 一 个 处 理 能 力 非 常 强大 的 计算 机 集群 。 


“ 不 太 容易 遇 到 瓶颈 ， 因 为 很 容易 通过 添加 主机 来 增加 处 理 能 力 。 


“ 单 节点 故障 对 系统 的 整体 影响 较 小 。 


目前 可 行 的 方案 有 : 











1) MySQL Cluster: 其 特点 为 可 用 性 非常 高 ， 性 能 非常 好 。 每 份 数据 至 少 可 在 不 同 主机 上 存 一 份 拷贝 ， 且 宛 余 数据 拷贝 实时 同步 。 但 它 的 维护 非常 复杂 ， 存 在 很 多 Bug， 目 前 还 不 适合 比较 核心 的 线 上 











系统 ， 所 以 并 不 推荐 这 个 方案 。 

















2) DRBD 磁 盘 网 络 镜像 方案 : 其 特点 为 软件 功能 强大 ， 数 据 可 在 底层 块 设备 级 别 跨 物理 主机 镜像 ， 且 可 根据 性 能 和 可 靠 性 要 求 配置 不 同 级 别 的 同步 。/O 操 作 会 保持 顺序 ， 可 满足 数据 库 对 数据 一 致 性 
的 苛刻 要 求 。 但 非 分 布 式 文件 系统 环境 无 法 支持 镜像 数据 同时 可 见 ， 性 能 和 可 靠 性 两 者 相互 矛盾 ， 无 法 适用 于 性 能 和 可 靠 性 要 求 都 比较 苛刻 的 环境 ， 且 维护 成 本 高 于 MySQL Replication。 另 外 ，DRBD 是 





















































官方 推荐 的 可 用 于 MySQL 高 可 用 方案 之 一 ， 大 家 可 根据 实际 环境 考虑 是 否 部 署 。 
























































3) MySQL Replication: 在 工作 中 ， 此 种 MySQL 高 可 用 、 高 扩展 性 架构 使 用 最 多 ， 笔 者 也 推荐 此 种 方案 ， 下 面 将 向 大 家 介绍 几 种 MySQL Replication 的 高 可 用 架构 方案 。 


6.2.1 生产 环境 下 的 DRBD+Heartbeat+MySQL 双 机 高 可 用 


DELL 供 应 商 的 售后 人 员 在 机 器 进 机 房 上 架 前 就 已 将 系统 安装 完毕 ， 系 统 为 CentOS 5.8 x86_64。 在 安装 完 drbd 包 后 modprobe drbd 报 错 ， 在 加 载 drbd 模 块 时 报错 ， 报 错 信息 如 下 所 示 : 
FATAL:Module drbd not found drbd， 后 面 发 现 系统 安装 了 双 内 核 并 用 新 内 核 启 动 的 原因 ， 即 default 设 置 成 1， 然 后 执行 reboot， 退 回 到 老 版 本 内 核 运行 系统 ， 此 报错 就 没有 了 。y/etc/grub.conf 配 置 文 









































件 如 下 所 示 : 





default=1 
timeout=5 
splashimage= (hd0, 0) /grub/splash.xpm.gz 
hiddenmenu 
title CentOSs (2.6.18-238.el5xen) 
root (hd0,0) 
kernel /xen.gz-2.6.18-238.el5 
module /vmlinuz-2.6.18-238.el5xen ro root=LABEI=/ rhgb quiet 
module /initrd-2.6.18-238.el5xen.img 
title CentOS-base (2.6.18-238.el5) 
root (hd0,0) 
kernel /vmlinuz-2.6.18-238.el5 ro root=LABEI=/ rhgb quiet 
initrd /initrd-2.6.18-238.e15.img 





和 





服务 器 的 型 号 是 DELL R710 ( 双 至 强 Xeon E5606 四 核 CPU) ，6 块 SAS 600G 硬 盘 作 为 RAID 10， 考 虑 到 RAID 10 作 为 文件 系统 的 速度 及 高 效 ， 这 和 














独 划 分 了 接近 1.5T 的 硬盘 空间 给 DRBD 系 统 使 





























(在 安装 系统 时 选择 将 此 空间 作为 Free 空 间 ， 此 网 站 为 电子 订单 系统 ，1.5T 的 硬盘 空间 基本 上 满足 了 5 年 以 上 的 存储 需求 ) ， 此 外 还 采用 了 二 根 交叉 线 作为 心跳 线 ， 思 科 CISCO WS-C2960S-24TS-L 交 换 











机 。 





两 台 机 器 的 基本 情况 如 下 所 示 : 





centos1.mypharma.com 112.112.68.170， 心 跳 线 为 : 192.168.1.1 10.0.0.1 
centos2.mypharma.com 112.112.68.172， 心 跳 线 为 : 192.168.1.2 10.0.0.2 
Heartbeat 的 vip 为 112.112.68.174 





两 台 机 器 的 hosts 文 件 内 容 如 下 所 示 : 





112.112.68.170 centosl.mypharma.com centosl 
112.112.68.172 centos2.mypharma.com centos2 











在 实验 前 就 应 该 配置 好 两 台 机 器 的 hostname 及 ntp 对 时 等 内 容 ，iptables 防 火 墙 和 SElinux 关 闭 ， 具 体 配置 这 里 略 过 ,硬盘 情况 可 以 使 用 fdisk 查 看 ， 具 体 如 下 所 示 : 








fdisk -1 
此 命令 结果 如 下 所 示 : 





Disk /dev/sda: 1798.6 GB, 1798651772928 bytes 
255 heads, 63 sectors/track, 218673 cylinders 
Units = cylinders of 16065 * 512 = 8225280 bytes 


Device Boot Start End Blocks Id System 
/dev/sdal 于 1 16 128488+ 83 Linux 
/dev/sda2 江 了 5237 41937682+ 82 Linux swap / Solaris 
/dev/sda3 5238 11764 52428127+ 83 Linux 
/dev/sda4 11765 218673 1661996542+ 5 Extended 
/dev/sda5 11765 15710 31696213+ 83 Linux 
/dev/sda6 L571T 198076 1464854863+ 83 Linux 





1.DRBD 的 部 署 安 装 


两 台 机 器 分 别 用 如 下 命令 来 安装 drbd 软 件 : 








yum -y install drbd83 kmod-drbd83 





载 入 drbd 模 块 并 检测 模块 是 否 正常 载 入 ， 命 令 如 下 所 示 : 





modprobe drbd 
lsmod | grep drbd 








如 果 正确 显示 如 下 类 似 信息 ， 表 示 DRBD 已 成 功 安装 : 





drbd 300440 4 





使 用 cat 命 令 查看 两 台 机 器 的 drbd.conf 配 置 文件 内 容 如 下 所 示 (两 台 机 器 的 配置 是 一 样 的 ) : 





global { 

# minor-count dialog-refresh disable-ip-verification 

usage-count no # 统 计 drbd 的 使 用 

} 

common { 

syncer { rate 30M; } # 同 步 速率 ， 视 带宽 而 定 

} 

resource r0 { # 创 建 一 个 资源 ， 名 字 叫 ~r0” 

protocol C; # 选 择 的 是 drbg 的 Cc 协议 (数据 同步 协议 ，C 为 收 到 数据 并 写 入 后 返回 ， 确 认 成 功 ) 
hangdlers { # 默 认 drbg 的 库 文件 


Pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f"; 
local-io-error "/usr/lib/drbd/notify-io-error.sh; 

/usr/1lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f"; 

# fence-peer "/usr/lib/drbd/crm-fence-peer.sh"; 

# split-brain "/usr/lib/drbd/notify-split-brain.sh root"; 

# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root"; 

# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k"; 

# after-resync-target /usr/1lib/drbd/unsnapshot-resync-target-lvm.sh; 

} 

startup { 

# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb 

wfc-timeout 120; 

degr-wfc-timeout 120; 

} 

disk { 

# on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes 

# no-disk-drain no-md-flushes max-bio-bvecs 

on-io-error detach; 

} 

net { 

# sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers 

# max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret 

# after-sb-0pri after-sb-lpri after-sb-2pri data-integrity-alg no-tcp-cork 

max-buffers 2048; 

cram-hmac-alg "shal"; 

shared-secret "123456"; 

#DRBD 同 步 时 使 用 的 验证 方式 和 密码 信息 

#allow-two-primaries; 

} 

syncer { 

rate 30M; 

# rate after al-extents use-rle cpu-mask verify-alg csums-alg 

} 

on centosl.mypharma.com { # 设 定 一 个 节点 ， 分 别 以 各 自 的 主机 名 命名 

device /dev/drbd0; # 设 定 资源 设备 /dev/dribd0 指向 实际 的 物理 分 区 /dev/sda6 
disk /dev/sda6; 

address 192.168.1.1:7788; # 设 定 监听 地 址 以 及 端口 
meta-disk internal; 

} 

on centos2.mypharma.com { # 设 定 一 个 节点 ， 分 别 以 各 自 的 主机 名 命名 

device /dev/drbd0; # 设 定 资源 设备 /dev/dribd0 指向 实际 的 物理 分 区 /dev/sdb1l 
disk /dev/sda6; 

aqqress 192.168.1.2:7788; # 设 定 监听 地 址 以 及 端口 

meta-disk internal; #internal 表 示 是 在 同一 个 局 域 网 内 

} 

} 




















1) 需要 执行 drbdadm create-md r0 命 令 来 创建 DRBD 元 数据 信息 ， 执 行 命令 如 下 所 示 (两 台 机 器 都 需要 执行 此 步骤 ) ， 可 能 出 现下 列 报错 : 





Device '0' is configured! 
Command 'drbdmeta 0 v08 /dev/sda6 internal create-md' terminated with exit code 20 
drbdadm create-md r0: exited with code 20 





为 了 避免 此 错误 ， 建 议 用 dd 破坏 文件 分 区 ， 命 令 如 下 所 示 : 








dd if=/dev/zero of=/dev/sda6 bs=1M count=100 





在 centos1 的 机 器 上 操作 ， 命 令 如 下 : 





[rootecentos1l ~]# drbdadm create-md r0 





命令 结果 如 下 所 示 : 





Writing meta datahttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
initializing activity log 

NOT initialized bitmap 

New drbd meta data block successfully created. 





在 centos2 的 机 器 上 操作 ， 命 令 如 下 : 





[root@centos2 ~]# drbdadm create-md r0 





命令 结果 如 下 所 示 : 





Writing meta datahttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
initializing activity log 

NOT initialized bitmap 

New drbd meta data block successfully created. 





两 台 机 器 分 别 有 上 面 的 显示 结果 则 表明 一 切 正常 。 


2) 启动 DRBD 设 备 ， 在 两 台 机 器 上 分 别 执行 如 下 命令 : 





service drbd start 





如 果 此 时 没有 正常 关闭 iptables 服 务 ， 则 会 产生 如 下 报错 信息 : 





Starting DRBD resources: [ d(r0) s(r0) n(r0) J]http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..http://www.hzcourse.com/ 
六 灾 炎炎 大 次 闫 次 关 次 关 次 闫 次 交 类 次 六 奖 炎 次 闪 次 六 交大 次 关 次 关 次 实 六 次 次 关 奖 炎 奖 交 六 次 大风 六 次 关 次 关头 交 大奖 六 奖 炎 交 交 
DRBD's startup script waits for the Peer node(s) to appear. 
- In case this node was already a degraded cluster before the 
reboot the timeout is 120 seconds. [degr-wfc-timeout] 
- If the Peer was available before the reboot the timeout will 
expire after 120 seconds. [wfc-timeout] 
(These values are for resource 'r0'; 0 sec -> wait forever) 
To abort waiting enter 'yes' [ 50]: 





关闭 SELinux 和 iptables 后 ， 此 错误 信息 消失 ， 二 人 台 机 器 上 均 可 成 功 启动 DRBD 服 务 。 


3) 我 们 在 centos1 的 机 器 上 查看 DRBD 状 态 ， 命 令 如 下 所 示 : 





[root@centosl ~]# service drbd status 





命令 显示 结果 如 下 : 





drbd driver loaded OK; device status: 

version: 8.3.13 (api:88/proto:86-96) 

GIT-hash: 83call2086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36 
mres cs ro ds p mounted fstype 

0:r0 Connected Secondary/Secondary Inconsistent/Inconsistent C 





4) 将 centos1 的 机 器 作为 DRBD 的 Primary 机 器 ， 命 令 如 下 所 示 : 





drbdsetup /dev/drbd0 primary -o 
drbdadm primary r0 








然后 我 们 再 查看 其 状态 ， 命 令 如 下 所 示 : 





[root@centosl ~]# service drbd status 





此 命令 结果 如 下 所 示 : 





drbd driver loaded OK; device status: 

version: 8.3.13 (api:88/proto:86-96) 

GIT-hash: 83call2086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36 

mres cs ro ds P mounted fstype 
http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... sync'ed: [ep 
0:r0 SyncSource Primary/Secondary UpToDate/Inconsistent C 


op 


(1429092/1430476)M 





我 们 发 现 ，Primary/Secondary 关 系 已 经 形成 ， 而 且 数 据 在 进行 同步 ， 已 同步 了 0.1%， 接 近 1.5T 容 量 大 小 的 DRBD 数 据 同步 传输 的 速度 非常 慢 ， 建 议 将 此 传输 安排 在 空闲 时 间 ， 如 笔者 特地 将 其 安排 在 
下 班 以 后 。 经 过 漫长 的 等 待 以 后 ， 我 们 再 查看 Primary 机 器 的 DRBD 状 态 ， 如 下 所 示 : 








[root@centosl ~]# service drbd status 





命令 结果 如 下 所 示 : 





drbd driver loaded OK; device status: 

version: 8.3.13 (api:88/proto:86-96) 

GIT-hash: 83call2086600faacab2f157bc5a9324f7bd7f77 build by mockbuild@builder10.centos.org, 2012-05-07 11:56:36 
m:res cs ro ds P mounted fstype 

0:r0 Connected Primary/Secondary UpToDate/UpToDate C 

UpToDate/UpToDate 表 示 数 据 已 经 同步 完成 了 。 











DRBD 的 性 能 优化 : 由 于 DELL 机 器 上 的 网 卡 都 是 干 兆 网 卡 ， 在 此 例 中 ， 笔 者 已 在 二 台 DRLL 710 机 器 上 安装 了 二 条 交叉 线 作为 心跳 线 ， 为 了 排除 正常 业务 数据 对 DRBD 数 据 同步 的 影响 和 心跳 监测 ， 专 门 
选用 其 中 一 条 心跳 线 (192.168.1.1--> 192.168.1.2) 作为 专用 的 DRBD 数 据 同步 线路 。 
































5) 在 两 台 机 器 上 都 建立 /drbd 分 区 ， 准 备 将 其 作为 MySQL 的 挂 载 目录 ， 命 令 如 下 所 示 : 





mkdir /drbd 














6) 格式 化 Primary 机 器 的 DRBD 分 区 并 挂 载 使 用 。 














[root@centosl ~]# mkfs.ext3 /dev/drbd0 





命令 结果 如 下 所 示 : 





mke2fs 1.39 (29-May-2006) 

Filesystem label= 

OS type: Linux 

Block size=4096 (log=2) 

Fragment size=4096 (lo0g=2) 

183107584 inodes, 366202530 blocks 

18310126 blocks (5.00%) reserved for the super user 

First data block=0 

Maximum filesystem blocks=4294967296 

11176 block groups 

32768 blocks per group, 32768 fragments per group 

16384 inodes per group 

Superblock backups stored on blocks: 
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
4096000, 7962624, 11239424, 20480000,，23887872, 71663616, 78675968, 
102400000，214990848 


Writing inode tables: done 

Creating journal (32768 blocks): done 

Writing superblocks and filesystem accounting information: 
done 


This filesystem will be automatically checked every 28 mounts or 
180 days, whichever comes first. Use tune2fs -c or -i to override. 





将 /dewdrbd0 设 备 挂 载 至 /drbd 分 区 





mount /dev/drbd0 /drbqd/ 





家 cconqary 节 点 不 多 许 对 DRBD 设 备 进行 任何 操作 ， 包 括 只 读 ， 所 有 的 读 写 操 作 都 只 能 在 Primary 节 点 上 进行 ， 只 有 当 Primary 节 点 挂 挤 时 ，Secondary 代 普 主 节点 作为 Primary 节 点 时 才能 进行 读 写 操作 。 


7) 两 台 机 器 都 将 DRBD 设 为 自 启动 服务 ， 命 令 如 下 : 





chkconfig drbd on 





2.Heartbeat 的 安装 和 部 署 


1) 在 两 台 机 器 上 分 别 使 用 yum 安 装 heartbeat， 即 操作 两 次 如 下 命令 : 





yum -~y install heartbeat 





如 果 只 操作 一 次 ， 将 发 现 heartbeat 第 一 次 时 并 没有 安装 成 功 。 
2) 两 个 节点 的 heartbeat 配 置 文件 ， 分 别 如 下 所 示 。 


centos1.mypharma.com 的 配置 文件 : 





logfile /var/log/ha-log 

# 定 义 Heartbeat 的 日 志 名 字 及 位 置 

logfacility local0 

keepalive 2 

# 设 定 心 跳 (监测 ) 时 间 为 2 秒 

deadtime 15 

# 设 定 死 亡 时 间 为 15 秒 

ucast eth0 112.112.68.172 

ucast eth2 10.0.0.2 

ucast eth3 192.168.1.2 

# 采 用 单 播 的 方式 ，IP 地 址 指定 为 对 方 TP， 这 里 为 了 防止 脑 裂 ， 特 地 用 了 两 条 心跳 线 外 加 公 网 地 址 IP 作 为 心跳 监测 线路 ， 
auto failback off 

# 当 Primary 机 器 发 生 故 障 切 换 到 Secondary 机 器 后 不 再 进行 切 回 操作 。 


node centos]l .mypharma.com centos2.mypharma.com 


事实 上 ， 在 项 目 上 线 测试 阶段 ， 除 非 人 为 手动 破坏 ， 不 然 没 有 发 生 脑 裂 的 可 能 。 








centos2.mypharma.com 的 配置 文件 : 





logfile /var/log/ha-log 

logfacility local0 

keepalive 2 

deadtime 15 

ucast eth0 112.112.68.170 

ucast eth2 10.0.0.1 

ucast eth3 192.168.1.1 

auto failback off 

node centos1l1 .mypharma.com centos2.mypharma.com 


# 参 数 情况 跟 centos1 类 似 ， 这 里 不 再 做 重复 性 解释 。 








3) 编辑 双 机 互 连 验证 文件 authkeys， 如 下 所 示 : 


cat/etc/ha.d/authkeys: 





auth 1 
Lar 





需要 将 此 文件 设 定 为 600 权 限 ， 否 则 会 在 启动 heartbeat 服 务 时 报错 ， 命 令 如 下 所 示 : 





chmod 600 /etc/ha.d/authkeys 





4) 编辑 集群 资源 文件 /etc/ha.d/haresources: 





centos1.mypharma.com IPaddr::112.112.68.174/29/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/drbd::ext3 mysqld 





该 文件 在 两 台 机 器 上 都 是 一 样 的 ， 这 个 就 不 要 轻易 改动 了 。 


mysqld 为 mysql 服 务 器 启动 、 








量 启 及 关闭 脚本 ， 这 个 是 安装 MySQL 时 自 带 的 ， 稍 后 会 在 安装 MySQL 中 提 到 此 步 。 





3. 源 码 编译 安装 mysql 5.1.47 并 部 署 haresource 





之 所 以 选择 mysql 5.1.47 版 本 ， 是 因为 此 版 本 的 mysql 在 以 前 其 他 项 目 或 网 站 中 运行 稳定 ， 所 以 在 部 署 此 项 目 时 也 考虑 采用 此 版 本 。 在 MySQL 官 方 网 站 上 下 载 mysql5.1.47 的 源码 包 ， 在 两 台 机 器 上 分 别 
安装 ， 这 里 跟 单纯 编译 安装 mysql5.1.47 还 是 略 有 不 同 的 ， 所 有 笔者 将 其 详细 步骤 整理 如 下 : 








1) 安装 gcc 等 基础 库 文件 : 





yum install gcc gcc-c++ zlib-devel libtool ncurses-devel libxml2-devel -y 





生成 mysql 用 户 及 用 户 组 : 





groupadd mysql 
useradd -g mysql mysql 





源码 编译 安装 mysql 5.1.47: 





tar zxvf mysql-5.1.47.tar.gz 

cd mysql-5.1.47 

./configure --prefix=/usr/local/mysql --with-charset=utf8 --with-extra-charsets=all --enable-thread-safe-client --enable-assembler --with-readline --with-big-tables --with-pluc 
make 

make install 








2) 对 mysql 进 行 权 限 配 置 ， 使 其 能 顺利 启动 : 





cd /usr/local/mysql 

cp /usr/local/mysql/share/mysql/my-medium.cnf /etc/my.cnf 

cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld 

cp /usr/local/mysql/share/mysql/mysql.server /etc/ha.d/resource.d/mysqld 
chmod +x /etc/init.d/mysqld 

chmod +x /etc/ha.d/resource.d/mysqld 

Chown -R mysql:mysql /usr/local/mysql 





3) 在 两 台 机 器 上 的 /etc/my.cnf 的 [mysqld] 项 下 面 重新 配置 mysql 运 行 时 的 数据 存放 路 径 : 








datadir=/drbd/data 





4) 在 Primary 机 器 上 运行 如 下 命令 ， 使 其 数据 库 目录 生成 数据 ，Secondary 机 器 不 需要 运行 此 步 : 





/usr/local/mysql/bin/mysql_install db --user=mysql --datadir=/drbd/data 





玉里 是 整个 实验 环境 中 的 一 个 重要 环节 ， 笔 者 在 搭建 此 步 时 出 过 几 次 问题 ， 我 们 运行 MySQL 是 在 启动 DRBD 设 备 之 后 ， 即 将 /dev/dtbd0 目 录 正 确 桂 载 到 /dibd 目 录 后 ， 而 并 非 没 挂 载 就 去 启动 
MySQL， 这 会 导致 整个 实验 完全 失败 。 做 完 这 步 以 后 ， 我 们 不 需要 启动 MySQL， 它 可 以 靠 脚 本 自行 启动 ， 如 果 已 经 启动 了 MySQL 请 手动 关闭 。 


4. 将 DRBD 和 Heartbeat 设 置 成 自 启动 方式 


在 两 台 机 器 上 将 DRBD 和 Heartbeat 都 设 成 自 启动 方式 : 








service drbd start 
chkcfonig drbd on 
service heartbeat start 
chkconfig heartbeat on 





通过 观察 Primary 机 器 上 的 信息 可 以 得 知 ，Primary 机 器 已 经 正确 启动 MySQL 和 Heartbaet， 信 息 如 下 所 示 : 





[root@centosl ~]# ip addr 





此 命令 结果 如 下 所 示 : 





1: 10: <LOOPBACK,UP,LOWER UP> mtu 16436 qdisc noqueue 
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 
inet 127.0.0.1/8 scope host lo 
: eth0: <BROADCAST, MULTICAST, UP, LOWER UP> mtu 1500 qdisc pfifo fast qlen 1000 
link/ether 84:8f:69:dd:5f:f1 brd fFf:ff:ff:ff:ff:ff 
inet 112.112.68.170/29 brd 114.112.69.175 scope global eth0 
inet 112.112.68.174/29 brd 114.112.69.175 scope global secondary eth0:0 
3: ethl: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo fast qlen 1000 
link/ether 84:8f:69:dq:5f:f3 brd ff:ff:ff:ff:ff:ff 
4: eth2: <BROADCAST,MULTICAST, UP,LOWER UP> mtu 1500 qdisc pfifo fast qlen 1000 
link/ether 84:8f:69:dd:5f:f5 brd ff:ff;ff:tf;F£t:ff£ 
inet 10.0.0.1/24 brd 10.0.0.255 scope global eth2 
5: eth3: <BROADCAST,MULTICAST, UP,LOWER UP> mtu 1500 qdisc pfifo fast qlen 1000 
link/ether 84:8f:69:dd:5f:f7 brd fFf:ff:ff:ff:ff:ff 
inet 192.168.1.1/24 brd 192.168.1.255 scope global eth3 
6: virbr0: <BROADCAST,MULTICAST, UP,LOWER UP> mtu 1500 qdisc noqueue 
link/ether 00:00:00:00:00:00 brd ff:ff:ff:ff:ff:ff 
inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0 


DL 

















通过 查看 3306 端 口 被 占用 的 情况 可 以 得 知 mysql 服 务 已 被 正常 开启 。 























[root@centosl datal# lsof -i:3306 





此 命令 结果 如 下 所 示 : 





COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME 
mysqld 4341 mysql l8u IPv4 9807 TCP *:mysql (LISTEN) 





5. 给 远程 用 


另外 ,在 Primayry 机 器 上 授权 给 一 个 远程 





户 授权 














户 ， 如 admin， 方 便 程 序 进行 连接 ， 如 下 所 示 : 





mysql> grant all privileges on *.* to "admin'Q's' identified by "adminechange2011010177 





修改 PHP 连 接 MySQL 的 配置 文件 ， 如 config.inc.php 或 configuration.php， 如 下 所 示 : 





public $host 
public $user 
public $password = 'admin@change20120101'; 


ED T1268.1714" 3 


"admin'7 





人 @ 旦 pb 时 程序 连接 的 是 Heartbeat 采 生 的 VIP 地 址 ， 即 112.112.68.174， 如 果 连 接 到 真实 的 物理 机 器 的 IP， 则 在 机 器 遇 到 故障 的 时 候 ，Heartbeat 起 不 到 高 可 用 的 作 有 


6. 涡 








论 如 何 





I 试 工作 


命令 如 下 所 示 : 


其 余 的 工作 就 比较 容易 测试 了 ， 主 要 是 在 模拟 Primary 机 器 旦 
启 机 器 ， 只 要 保证 有 一 台 机 器 存活 ，MySQL 均 能 正常 提供 服务 ， 我 们 可 以 在 Primary 机 器 上 通过 tail 命 令 进行 观察 。 











启 或 死机 时 ， 查 看 Secondary 机 器 能 否 自动 接管 过 来 并 启动 MySQL， 我 们 重启 Primary 机 器 后 再 重启 Secondary 机 器 ， 正 常 结果 应 该 是 : 无 





[root@centosl ~]# tail -n 100/var/log/messages 





结果 摘录 部 分 如 下 所 示 : 
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43 
43 
43 
43 
43 
43 
43 
43 
43 
43 
44 
44 
44 
44 
44 
44 
44 
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centosl 
centosl 
centosl 
Centos1 
Centos1 
centosl 
centosl 
Centos1 
centosl 
centosl 
centosl 
centosl 
centosl 
centosl 
centosl 
centosl 
centosl 
centosl 
Centos1 
centosl 
centosl 
centosl 


kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 
kernel: 


block 
block 
block 
block 
block 
block 
block 
block 
block 
block 
block 


heartbeat: [4 
heartbeat: [4 
heartbeat: [4 
heartbeat: [4 
heartbeat: [4 
harc[6268] : info: Running /etc/ha.d/rc.d/status status 
harc[6284] : info: Running /etc/ha.d/rc.d/status status 
heartbeat: [4 
harc[6300] : info: Running /etc/ha.d/rc.d/status status 
heartbeat: [4 
heartbeat: [4 


drbd0: peer( Unknown -> Secondary ) conn( WFReportParams -> NEFBitMapS ) pdsk( DUnknown -> Consistent ) 
drbd0: helper command: /sbin/drbdadm before-resync-source minor-0 

drbd0: helper command: /sbin/drbdadm before-resync-source minor-0 exit code 0 (0x0) 

drbd0: conn( WEBitMapS -> SyncSource ) pdsk( Consistent -> Inconsistent ) 

drbd0: Began resync as SyncSource (will sync 92 KB [23 bits set]) . 

drbd0: updated sync UUID 1FA7TABFFB384C72F:D10282C4C4051EC9:D10182C4C4051EC9:68D8873ACC229C92 
drbd0: Resync done (total 1 sec; paused 0 sec; 92 K/sec) 

drbd0: updated UUIDs 1FA7ABFFB384C72F:0000000000000000:D10282C4C4051EC9:D10182C4C4051EC9 
drbd0: conn( SyncSource -> Connected ) pdsk( Inconsistent -> UpToDate ) 

drbd0: bitmap WRITE of 11174 pages took 58 jiffies 

drbd0: 0 KB (0 bits) marked out-of-sync by on disk bit-map. 

074]: info: Heartbeat restart on node centos2.mypharma.com 

074]: info: Link centos2.mypharma.com:eth2 up. 

074]: info: Status update for node centos2.mypharma.com: status init 

074]: info: Link centos2.mypharma.com:eth3 up. 

074]: info: Status update for node centos2.mypharma.com: status up 






074]: info: Status update for node centos2.mypharma.com: status active 


074]: info: remote resource transition completed. 
074]: info: Link centos2.mypharma.com:eth0 up. 





待 系统 稳定 以 后 ， 


我 们 可 以 隔 一 段 时 间 























命令 抽查 一 下 Heatbeat 日 志 ， 如 下 : 











[root@centosl ~]# tail -n 100 /var/log/ha-log 





此 命令 结果 如 下 所 示 (由 于 日 志 


容 较 多 ， 仅 截取 部 分 日 志 内 容 ) : 





heartbeat 
heartbeat 
heartbeat 
heartbeat 
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heartbeat 
heartbeat 
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heartbeat 
heartbeat 
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4063]: 
4063 
4063]: 
4063 
4063]: 
4063 
4063]: 
4063]: 
4063]: 
4063 


4063]: 
4063]: 





2012/10/15 16: 
2012/10/15_16: 
: 2012/10/15 16: 
2012/10/15_16: 
3 2012/10/15 16: 
2012/10/15_16: 
: 2012/10/15 16: 
2012/10/15 16: 
2012/10/15_16: 
2012/10/15 16: 
+ 2012/10715 16: 


2012/10/17 16: 
2012/10/17_16: 





57:46 
57:46 
57:46 


58:12 
358:12 


: cl malloc stats: 668/19656763 123856/60302 [pid4063/MST CONTROL] 
RealMalloc stats: 597304 total malloc bytes. pid [4063/MST_CONTROL] 
Current arena value: 0 

MSG stats: 0/4 ms age 257977840 [pid4080/HBFIFO] 

cl malloc stats: 312/413 36320/16115 [pid4080/HBFIFO] 
RealMalloc stats: 38892 total malloc bytes. pid [4080/HBFIFO] 
Current arena value: 0 

: MSG stats: 0/0 ms age 4553292800 [pid4081/HBWRITE] 

info: cl malloc stats: 332/163986 39824/18379 [pid4081/HBWRITE] 

info: RealMalloc stats: 48136 total malloc bytes. pid [4081/HBWRITE] 
info: Current arena value: 0 


info: Current arena value: 0 
info: These are nothing to worry about. 





最 后 一 句 话 表 示 整 个 Heartbeat+ DRBD+MySQL 环 境 是 稳定 的 ， 无 须 担心 ， 我 们 已 经 观察 网 站 稳定 运行 了 159 天 ，DRBD+Heartbeat 也 没有 任何 异常 ， 用 uptime 命 令 观 察 得 知 ， 系 统 很 稳定 正常 ， 命 








令 如 下 所 示 : 
uptime 
命令 结果 如 下 所 示 


15:21:30 up 159 days, 22:;25, 


1 user, 





load average: 0.11, 0.04, 0.01 





DRBD+Heartbeat 目 





前 存在 着 的 问题 : 


“ 脑 裂 问题 ， 这 个 是 大 家 在 工作 中 讨论 得 最 多 的 问题 ,但 是 我 们 在 网 站 的 维护 工作 中 发 现 ， 由 于 NFS 服 务 器 和 MySQL 都 是 采用 的 DRBD 双 机 ， 只 要 不 轻易 甬 碰 机 器 的 交叉 线 ( 即 心跳 线 ) ， 保 证 交换 机 的 
稳定 性 ， 出 现 此 问题 的 几率 微乎其微 。 


“ DRBD 本 身 对 磁盘 1/ 〇 性 能 有 一 定 的 影响 ， 这 个 是 由 DRBD 本 身 的 写 文件 机 制造 成 的 ， 我 们 通过 sysbench 做 基准 测试 也 能 发 现 此 问题 ， 记 得 将 除 系统 表 之 外 的 所 有 表 引 擎 转 为 InnoDB 引 营 。 


“ DRBD+Heartbeat 浪 费 了 宝贵 的 服务 器 资源 ， 目 前 DRBD 的 备 机 还 不 能 提供 读 功 能 ， 生 产 环 境 下 的 MySQL 服 务 器 硬件 基本 都 是 顶 配 ， 这 样 浪费 了 一 台 机 器 比较 可 惜 。 不 过 可 以 将 此 机 器 作为 其 他 用 途 ， 
比如 数据 备份 机 器 。 


MySQL 中 MylSAM 转 InnoDB 的 SHELL 脚 本 如 下 所 示 : 





#/bin/bash 
DB=pharma 


USER=root 


PASSWD=root@change 


/usr/local/mysql/bin/mysql ~-u$USER -p$PASSWD $DB -e "select TABLE NAME from information schema.TABLES where TABLE SCHEMA='"$DB"' and ENGINE='"MyISAM"';" | grep -V "TABLE NAME" 
#for t name in “cat tables.txt. 


cat mysql table.txt | while read LINE 
do 


echo "Starting convert table enginehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/..." 
/usr/local/mysql/bin/mysql -u$USER -p$PASSWD $DB -e "alter table $LINE engine= '"InnoDB"'" 
sleep 1 





“ Secondary 主 机 用 来 做 DRBD 的 硬盘 时 可 以 跟 Primat 主 机 的 大 小 不 一 样 ， 但 请 不 要 小 于 Primary 主 机 ， 以 免 发 生 数 据 丢 失 的 现象 。 但 建议 在 生产 环境 下 保持 大 小 一 致 ， 如 果实 在 不 能 保持 一 样 的 大 
小 ，Secondary 机 器 的 DRBD 分 区 要 大 于 Primary 机 器 ; 


“ 推荐 千 兆 系列 的 服务 器 网 卡 及 交换 机 ， 在 测试 中 发 现 其 同步 速率 介 于 100M-200M 之 间 ， 这 里 采用 官方 的 建议 ， 以 最 小 值 的 30% 带 宽 设 置 rate 速 率 ， 笔 者 这 里 配置 为 30M， 大 家 也 可 根据 自己 的 实际 网 络 
环境 来 设 定 此 值 ; 


“ DRBD 对 网 络 环境 要 求 很 高 ， 建 议 用 单独 的 交叉 线 作 为 二 台 主 机 之 间 的 心跳 线 ， 如 果 条 件 允 许 ， 可 以 考虑 用 两 根 以 上 的 心跳 线 。 如 果 这 个 环节 做 得 好 ， 基 本 上 不 会 存在 脑 裂 的 问题 。 
“ 安装 Heartbeat 时 需要 安装 两 遍 ， 即 yum-y install heartbeat 要 执行 两 次 ; 
“ 建议 不 要 用 根 分 区 作为 MySQL 的 数据 目录 ， 不 然 show database 时 会 出 现 名 为 #mysql50#lost+found 的 数据 库 ， 这 也 是 笔者 将 MYSQL 的 数据 库 目录 设置 为 /drtbd/data 的 原因 。 


“ 就 算 发 生 脑 裂 的 问题 ，DRBD 也 不 会 丢失 数据 ， 手 动 解决 此 脑 裂 问题 即 可 ， 而 且 用 两 根 或 两 根 以 上 的 心跳 线 ， 出 现 脑 裂 的 几率 非常 少 
用 的 方案 之 一 。 


。 正 因为 DRBD 十 分 可 靠 ，MySQL 也 推荐 将 其 作为 MYSQL 实现 高 可 


:MYSQL 的 DRBD 方 案 不 能 达到 毫秒 级 的 切换 速度 ，MYISAM 引 擎 的 表 在 系统 宕 机 后 需要 很 长 的 修复 时 间 ， 而 且 也 有 可 能 发 生 表 损 坏 的 情况 ， 建 议 大 家 将 所 有 除了 系统 表 之 外 的 表 引 擎 改 为 InnoDB 引 


6.2.2 ”生产 环境 下 的 MySQL 数 据 库 主 从 Replication 同 步 








MySQL 的 主 从 Replication 同 步 (又 叫 主 从 复制 ) 是 一 个 很 成 熟 的 架构 ， 笔 者 的 许多 电 商 平台 线 上 环境 都 采用 了 这 种 方案 。 














1.MySQL 的 主 从 Replication 同 步 概述 











MySQL 的 主 从 Replication 同 步 的 优点 为 : 

“ 在 业务 繁忙 阶段 ， 我 们 可 以 在 从 服务 器 上 执行 查询 工作 〈 即 我 们 常 说 的 读 写 分 离 ) ， 降 低 主 服 务 器 压力 。 
: 在 从 服务 器 上 进行 备份 ， 避 免 备份 期 间 影响 主 服务 器 服务 。 

“当主 服务 器 出 现 问 题 时 ， 可 以 迅速 切换 到 从 服务 器 ， 这 样 不 影响 线 上 环境 。 


“ 数据 分 布 。 由 于 MySQL 复 制 并 不 需要 很 大 的 带宽 ， 所 以 可 以 在 不 同 的 数据 中 心 实现 数据 的 拷贝 。 


















































主 从 复制 同步 的 原理 : 主 从 复制 是 MySQL 数 据 库 提供 的 一 种 高 可 用 、 高 性 能 的 解决 方案 ， 它 其 实 是 一 种 异步 的 实时 过 程 ， 并 不 是 完全 的 实时 ， 如 果 由 于 网 络 的 原因 延迟 比较 严重 ， 此 时 要 考虑 将 其 延迟 
时 间作 为 Nagios 报 警 的 选项 参数 ， 其 具体 工作 步骤 为 : 
































1) 主 服务 器 把 数据 更 新 记录 到 二 进 制 日 志 





2) 从 服务 器 把 主 服务 器 的 二 进 制 日 志 拷 贝 到 自己 的 中 继 日 志 中 ， 这 个 由 从 服务 器 的 MO 线 程 负责 。 














3) 从 服务 器 执行 中 继 日 志 ， 把 其 更 新 应 用 到 自己 的 数据 库 上 ， 这 个 由 从 服务 器 的 SQL 线程 负责 。 


























鉴于 生产 环境 下 对 MySQL 严 谨 性 的 要 求 ， 推 荐 采用 MySQL 源 码 编译 的 方法 。 以 下 内 容 曾 在 笔者 的 个 人 博客 中 阐述 过 ， 并 且 收 到 了 许多 热心 网 友 中 肯 的 意见 ， 我 根据 大 家 的 意见 对 此 进行 了 五 次 修改 ， 
如 果 大 家 在 工作 中 有 相应 的 需求 ， 可 以 参考 。 编 译 安装 MySQL 数 据 库 之 前 ， 建 议 在 服务 器 上 安装 基础 库 文件 ， 命 令 如 下 : 


-y install gcc gcc-ct+ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel 




















由 于 服务 器 采用 的 是 最 小 化 安装 ， 建 议 大 家 也 安装 一 下 开发 工具 和 开发 库 ， 防 止 源码 编译 安装 MySQL 时 报错 。 另 外 ，MySQL 从 5.5 版 本 开始 ， 通 过 ./configure 进 行 编译 配置 的 方式 已 经 被 取消 ， 取 而 代 
之 的 是 cmake 工 具 ， 因 此 ， 我 们 首先 要 在 系统 中 源码 编译 安装 cmake 工 









































MySQIl 数据库 涉及 的 文件 及 对 应 目录 如 下 所 示 : 














“ MySQL 的 安装 位 置 : /usr/local/mysql。 
“MySQL 的 配置 配置 文件 : /etc/my.cnf。 


“MYSQL 数据 库 位 置 : /data/mysql/。 





下 面 介绍 一 下 工作 环境 ， 如 下 所 示 : 








主 数据 库 : 192.168.1.205 
从 数据 库 : 192.168.1.204 
系统 : CentOS 6.8 x86-64 
MySQL 版 本 : mysql 5.5.40 


服务 器 硬件 环境 : DELL PowerEdge R710 


RAID10 磁 盘 情 况 : 6 块 300G SAS300G 





1) 在 MySQL 官 方 网 站 (http://downloads.mysql.com/archives/community/) 上 下 载 mysql 5.5.40 的 源码 包 ， 在 两 人 台 机 器 上 分 别 安 装 ， 具 体 步骤 如 下 。 


生成 mysql 用 户 及 用 户 组 ， 命 令 如 下 所 示 : 





groupadd mysql 

useradd -g mysql mysql 

mkdir -P /data/mysql 

chown -R mysql:mysql /data/mysql 





源码 编译 安装 mysql 5.5.40， 命 令 如 下 所 示 : 





cd /usr/local/src/ 

tar xvf mysql-5.5.40.tar.gz 

cd mysql-5.5.40 

cmake -DCMAKFE INSTALL PREFIX=/usr/local/mysql -DMYSQL DATADIR=/data/mysql -DDEFAULT CHARSET=utf8 -DDEFAULT COLLATION=utf8 unicode ci -DWITH READLINE=1 -DWITH SSI=system 
make && make install && cd http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../ 





2) 对 mysql 进 行 权限 配置 ， 将 mysql 的 数据 安装 路 径 设 为 /data/mysql， 并 配置 mysq| 为 服务 启动 状态 ， 步 又 如 下 : 








cd /usr/local/src/mysql-5.5.40 

cp ./support-files/my-huge.cnf /etc/my.cnf 

cp ./support-files/mysqgl.server /etc/init.d/mysqld 
chmod +x /etc/init.d/mysqld 

Chown -R mysql:mysql /usr/local/mysql 














这 里 暂时 只 用 系统 自 带 的 my-huge.cnf 作 为 MySQL 数 据 库 的 配置 文件 ， 后 期 根据 MySQL 的 status 运 行 状态 进行 调 优 整 理 。 











3) 修改 这 两 台 服 务 器 MySQL 服 务 器 下 的 /etc/my.cnf 的 [mysqld] 项 ， 在 这 个 下 面 添加 mysql 运 行 时 的 数据 存放 路 径 ， 如 下 所 示 : 





datadir=/data/mysql 





4) 在 这 两 台 服务 器 上 分 别 运行 如 下 初始 化 数据 库 命令 ， 在 /data/mysdqI 下 生成 MySQL 的 初始 化 文件 和 初始 库 等 ， 命 令 如 下 所 示 : 





/usr/local/mysql/scripts/mysql install db --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql 





5) 此 时 就 可 以 顺利 地 以 服务 形式 启动 MySQL 了 ， 如 下 所 示 : 





service mysqld start 








我 们 将 其 配置 为 自 启动 状态 ， 命 令 如 下 : 





chkconfig mysqld on 




















配置 完成 后 可 用 如 下 命令 检查 : 











chkconfig --list mysqld 





结果 显示 如 下 ， 表 示 上 面 的 设 定 是 成 功 的 : 





mysqld 0:off1:off2:on3:on4:on5:on6:off 





6) 我 们 将 MySQL 的 执行 路 径 添加 进 PATH 环 境 变量 ， 在 /etc/profile 最 后 一 行 添加 如 下 内 容 : 





export PATH=$PATH:/usr/local/mysql/bin 








执行 如 下 命令 使 其 更 改 立即 生效 : 





Source /etc/profile 





2. 主 从 复制 同步 的 过 程 
下 面 将 详细 介绍 主 从 复制 同步 的 过 程 。 
(1) 设置 主 库 


1) 修改 主 库 my.cnf， 主 要 是 设置 一 个 不 一 样 的 server-id， 以 及 要 同步 的 数据 库 的 名 字 。 我 们 可 以 用 vim 编 辑 /etc/my.cnf 文 件 ， 在 [mysqld] 段 下 增加 如 下 内 容 : 








server-id = 1 
log-bin= binlog 
binlog format=mixed 








从 库 my.cnf 文 件 跟 主 库 还 是 不 一 样 的， 具体 改动 如 下 : 





server-id=2 

log-bin= binlog 

binlog format=mixed 

replicate wild do table=adserver.% 
replicate wild ignore table=mysql.% 





adserver 为 要 同步 的 数据 库 的 名 字 ，mysd| 为 不 需要 同步 的 数据 库 ， 这 里 为 了 避免 发 生 跨 库 同步 失败 的 问题 ， 建 议 在 从 库 里 面 这 样 配 置 。 从 库 所 在 服务 器 的 server-id 修 改 为 非 1 的 数字 即 可 ， 否 则 会 在 同 
步 的 过 程 中 发 现 错误 ， 主 库 所 在 的 机 器 必须 开启 二 进 制 日 志 ， 其 日 志 格式 为 mixed， 而 从 库 服务 器 没有 要 求 必须 开启 二 进 制 日 志 。 


























2) 分 别 重启 主 从 库 服务 器 使 修改 的 配置 生效 ,命令 如 下 : 

















service mysqld restart 


3) 登录 主 库 : 








mysql -u root -p 














此 处 不 输入 密码 即 可 进行 ， 这 是 由 于 MySQL 服 务 器 是 刚 配置 的 ， 所 以 MySQL 数 据 库 的 root 密 码 暂时 没有 配置 。 为 了 安全 起 见 ， 大 家 可 以 稍 后 再 进行 设置 。 














4) 赋予 从 库 权限 账号 ， 允 许 用 户 在 主 库 上 污 取 日 志 ,命令 如 下 : 

















mysql> grant replication slave on *.* to 'admin'@'192.168.11.27' identified by 'admin@101'; 








replication slave 是 一 个 基本 必需 的 权限 ， 它 直接 授予 从 机 服务 器 以 该 账户 连接 主机 可 以 执行 replication 操 作 的 权限 。 为 了 安全 起 见 ， 建 议 只 为 admin 账 户 分 配 replication slave 权 限 。 
































此 操作 完成 以 后 ， 建 议 立即 在 从 机 上 进行 验证 ， 如 果 成 功 显示 mysql 登 录 界 面 ， 表 示 设 置 成 功 ,命令 如 下 所 示 : 


mysql -u admin -P -h 192.168.1.204 
Enter password: 











输入 admin 密 码 以 后 应 该 显示 成 功 登 陆 的 界面 ， 如 下 所 示 : 





Welcome to the MySQL monitor. Commands end with ; or \g. 

Your MySQL connection id is 9 

Server version: 5.5.40-1og Source distribution 

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved. 
Oracle is a registered trademark of Oracle Corporation and/or its 

affiliates. Other names may be trademarks of their respective 

Owners. 

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. 
mysql> 





这 里 有 个 知识 点 需要 说 明 一 下 ，MySQL 数 据 库 的 权限 系统 在 实现 上 比较 简单 ， 相 关 权 限 信息 主要 存储 在 几 个 被 称 之 为 9rant tables 的 系统 表 中 ， 即 : mysql.user、msyql.db、mysql.host、 
mysql.table_priv 和 mysql.columm_priv。 由 于 权限 信息 的 数据 量 比较 小 ， 访 问 又 非常 频繁 ， 所 以 MySQL 在 启动 的 时 候 就 会 将 所 有 的 权限 信息 都 加 载 到 内 存 中 ， 并 保存 在 几 个 特定 的 结构 里 。 这 就 使 得 每 次 
手动 修改 了 相关 权限 表 之 后 ， 都 需要 执行 flush privileges 来 通知 MySQL 重 新 加 载 MySQL 的 权限 信息 。 当 然 ， 如 果 通 过 grant、revoke 或 drop user 命 令 修改 相关 权限 ， 则 不 需要 手动 执行 flush privileges 命 


人 
Xo 








5) 检查 创建 是 否 成 功 ， 命 令 结果 如 下 所 示 (我 们 关注 user 名 为 admin 的 那 行 代码 即 可 ) : 





mysql> Select user,host from mysql.user; 


| 

未 

| 127.0.0.1 | 

| 192.168.1.205 | 

| s1 

| fabric | 

| fabric | 

| localhost | 
root | localhost | 

十 

n 


set (0.01 sec) 








6) 锁 主 库 表 ,命令 如 下 所 示 (建议 此 终端 不 要 退出 ， 以 免 锁 表 失 败 ) : 





mysql> flush tables with read lock; 





7) 显示 主 库 信息 。 





记录 File 和 Position， 将 会 用 到 从 库 设置 ， 命 令 如 下 : 


mysql> show master status; 
+ 


一 十 一 一 一 一 一 一 一 一 一 一 十 ~ 一 一 一 一 一 一 一 -一 一 一 一 一 十 一 一 一 -一 -一 一 一 -一 -一 -一 -一 -十 
| File | Position | Binlog Do DB | Binlog Ignore DB | 
十 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 二 -一 -一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 -十 
| mysql-bin.000004 | 106 | mydata | | 
二 -一 -一 -一 -一 一 一 一 一 一 一 一 一 一 一 + 一 一 -一 -一 -一 一 十 -一 一 一 一 一 一 一 一 一 一 一 一 一 + 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 十 


1 row in set (0.00 sec) 














8) slave 端 机 器 获取 Master 端 MySQL 数 据 库 的 “快照 ”时 有 两 种 方法 ， 第 一 种 是 锁 表 后 直接 用 tar 将 原 Master 打 包 给 slave 机 器 ， 这 种 情况 适用 于 网 站 初始 化 ， 并 且 数 据 库 比较 单一 时 ， 如 果 是 已 在 线 
了 一 段 时 间 ， 并 且 机 器 上 存在 着 不 同 的 数据 库 ， 那 么 就 不 适合 用 tar 打 包 了 ， 比 如 数据 库 上 面 的 生产 数据 库 数 据 差不多 有 9.8GB，321 张 表 ， 但 有 的 数据 库 不 需要 同步 ， 所 以 需要 用 别 的 方法 来 进行 ， 比 如 
mysqldump， 它 可 以 单独 对 某 个 特定 的 数据 库 进 行 逻辑 备份 。 下 面 笔者 将 重点 讲解 这 种 方法 。 










































































如 果 只 需 单独 备份 主机 上 的 mydata 数 据 库 ， 可 以 用 如 下 的 方式 : 


mysqldump --master-data -u root -p adserver > adserver.sql 























另外 ， 稍 微 解释 一 下 --master-data 参 数 的 作用 ，mysqldump 程 序 的 开发 者 给 程序 设计 这 项 参数 是 为 了 帮助 获取 对 应 的 Log Position， 添 加 了 这 个 参数 选项 以 后 ，mysqldump 会 在 dump 文 件 中 产 4 
条 CHANGE MASTER TO 命令 ,命令 中 记录 了 dump 时 刻 对 应 的 详细 Log Position 信 息 。 





(2) 设置 从 库 























1) 在 主 库 上 将 mydata.sql 传 输 给 从 机 ， 推 荐 使 用 rsync， 如 果 是 生产 环境 下 的 数据 库 ， 那 么 rsync 尤 其 适合 在 服务 器 之 间 传 输 上 百 个 G 的 生产 数据 库 数 据 ， 命 令 如 下 : 


























rsync -vzrtopg adserver.sql root@192.168.1.205:/root/ 





2) 登录 从 库 ， 建 立 mydata 数 据 库 ， 命 令 如 下 : 





mysql>create database adserver; 





然后 ， 退 出 mysql 命 令 行 ， 导 入 mydata.sql 数 据 ， 命 令 如 下 : 








mysql -u root -p adserver < /root/adserver.sql 





3) 解锁 








库 表 ， 命 令 如 下 所 示 : 





mysql> unlock tables; 





4) 在 从 库 上 设置 同步 。 设 置 连接 MASTER MASTER_LOG _FILE 为 主 库 的 File，MASTER_LOG_POS 为 主 库 的 Position， 命 令 如 下 所 示 : 














mysql> slave stop; 

mysql> change master to master host="'192.168.1.204',master user='admin', master password="'admin@101', 
master log file='mysql-bin.000004', master log pos=7323251; 

mysql> slave start; 





5) 查看 从 库 的 status 状 态 ,命令 如 下 所 示 : 





mysql>show slave status\G; 





结果 如 下 所 示 : 





兴 大 类 关 兴 六 交大 类 类 闪闪 大 关 交 兴 类 交大 类 关 闪 类 交大 。 下 OUT 大 炎炎 炎炎 火炎 炎炎 类 灾 炎 炎炎 炎炎 闪光 炎炎 灾 类 炎炎 夫 光 灾 


Slave _ IO State: Waiting for master to send event 
ster : 192.168.1.204 

agdmin 

3306 

和] 560 

Master Log File: mysql-bin.000004 







Read Master Log Pos: 7323251 
Relay Log Fil localhost-relay-bin.000002 
Relay Log Pos: 253 
Relay Master Log File: mysql-bin.000004 
Slave_ IO Running: Yes 
Slave SQL Running: Yes 





Replicate Do_DB: 
Replicate Ignore DB: 
Replicate Do Tabl 
Replicate Ignore Tabl 
Replicate Wild Do Table: adserver.%® 
Replicate Wild Ignore Table: mysql.% 
本 ~ Last Frrno: 0 


Skip Counter: 0 
Exec Master Log Pos: 7323251 
Relay_Log_ Space: 413 
Until Condition: None 
Until Log Fil 
UntiT Log Pos: 0 
Master SSL Allowed: No 











Master SSL Cert: 
Master_ SSL Cipher: 
Master_ SSL Key: 
Seconds Behind Maste 
Master SSL Verify Server Cer 
0 Last_IO Errno: 
Last IO Error: 
Last 5QL Errno: 
Last_ SQL Erro: 
Replicate Ignore Server Id: 
Master Server Id: 1 

1 row in set (0.00 sec) 







ERROR: 
No query specified 














注意 


[ 





中 两 部 分 的 显示 内 容 : Slave_ IO_Running:Yes (网 络 正常 ) ; Slave_SQL Running:Yes ( 表 结 构 正 常 ) 。 根 据 MySQL 主 从 同步 的 原理 ， 这 两 个 部 分 必须 都 为 YES (正常 ) 才 表 示 同 步 是 成 功 的 ， 
此 外 ， 我 们 还 要 注意 Seconds_Behind_Master 这 个 选项 ， 它 表示 主 从 同步 延迟 时 间 ， 在 一 些 对 数据 即时 性 要 求 高 的 生产 场景 ， 这 个 选项 应 该 也 要 引起 我 们 的 重视 。 














6) 进行 一 些 测试 工作 。 在 








库 上 的 adserver 数 据 上 建立 名 为 yuhongchun 的 表 ， 如 下 所 示 : 





mysql> CREATE TABLE ‘yuhongchun. ( 

‘id INT(5 ) UNSIGNED NOT NULL AUTO INCREMENT ， 
“username ”VRARCHAR (20) NOT NULL ， 

“Password ”CHAR (32) NOT NULL ， 

time ”DRATETIMP NOT NULL ， 

“number ”FLORT (10) NOT NULL ， 

“content ”TEXT NOT NULL ， 

PRIMARY KEY (id) 

) ENGINE = MYISAM ; 

















在 从 机 中 马上 可 以 看 到 ，mydata 数 据 库 下 产生 了 名 为 yuhongchun 的 表 ， 只 不 过 目前 表 记录 为 空 ， 另 外 ， 我 们 观察 下 从 机 的 中 继 日 志 ， 可 以 使 用 如 下 命令 : 











mysqlbinlog localhost-relay-bin.000002 





结果 显示 如 下 : 





/*!50530 SET @@SESSION.PSEUDO SLAVE MODE=1*/; 

/*!140019 SET @@session.max insert delayed threads=0*/; 

/*!50003 SET QOLD COMPLETION TYPE=@Q@COMPLETION TYPE,COMPLETION TYPE=0*/; 

DELIMITER /*!*/; 

# at 4 

#150707 4:16:16 server id 2 end log pos 107 Start: binlog v 4, server V 5.5.40-1log created 150707 4:16:16 
BINLOG " 

0IqbVQ8CRAAAAZWRRAAGsSRAARRAAARAORANS41L]JQwLWXVZwWRRAARAARARARARARARARARARARARRARARARARRRARARARARRRARRARARR 

AAAAAAAAAAAAAAAAAAAAAAAAE ZIgNAAgAEgAEBAQEEgAAVAAECgIAAAAICAgCAA== 

td 

#at 107 

#691231 19:00:00 server id 1 end log pos 0 Rotate to mysql-bin.000004 pos: 7323251 

# at 150 

#150707 3:11:08 server id 1 end log pos 0 Start: binlog V 4, server V 5.5.40-1og created 150707 3:11:08 
BINLOG ' 

JjHUubVQO8BAAAAZwAAAAAAAAAAAAOANS41LjQwLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADMDMDAA 

AAAAAAAAAAAAAAAAAAAAAAAAE ZIgNAAgAEgAEBAQEEgAAVAAECgIJAAAAICAgCAA== 

i 

# at 253 


动 ， 


#150707 4:20:17 server id 1 end log pos 7323578 Querythread id=12exec time=0error code=0 
use ‘adserver /*!*/; Ee 加 
SET TIMESTAMP=1436257217/*!*/; 
SET Q@@session.pseudo _ thread igd=12/*!1*/; 
SET 6Qsession.foreign_ key _checks=1，Qesession.sql_auto_ is null=0, @@session.unique checks=1, @@session.autocommit=1/*!*/; 
SET esession.sql mode=0/*!*/; 
SET @@session.auto increment increment=1, Q@session.auto increment offset=1/*!*/; 
TING wt te. xl 
SET @@session.character set client=33,@@session.collation connection=33,@Q@session.collation server=33/*!*/; 
SET @@session.lc time names=0/*!*/; 
SET @@session.collation database=DEFAULT/*!*/; 
CREATE TABLE ‘yuhongchun” ( 
‘id INT(5 ) UNSIGNED NOT NULL AUTO INCREMENT ， 
‘username. VARCHAR(20) NOT NULL , 一 
“password ”CHAR (32) NOT NULL ， 
time” DATETIME NOT NULL ， 
“number ”FLORAT (10) NOT NULL ， 
“content ”TEXT NOT NULL ， 
PRIMARY KEY (id`) 
) ENGINE = MYISAM 
Ca 
DELIMITER ; 
# End of log file 
ROLLBACK /* added by mysqlbinlog */; 
/*!50003 SET COMPLETION TYPE=@OLD COMPLETION TYPE*/; 
/*!50530 SET Q@@SESSION.PSEUDO SLAVE MODE=0*/; 














这 表明 主 从 同步 复制 是 成 功 的 ，MySQL 主 从 Replication 复 制 非常 快 ， 在 保证 网 络 的 前 提 下 ， 小 数据 的 改变 几乎 感觉 不 到 延迟 (但 还 是 属于 异步 同步 ) ， 通 常 在 Master 端 改动 以 后 ，Slave 端 也 会 立即 改 
这 种 模式 非常 适合 那 种 对 延 时 性 要 求 很 低 的 工作 环境 ， 比 如 线 上 的 BBS 论坛 。 如 果 是 电子 商务 网 站 ， 由 于 对 数据 的 即时 性 要 求 很 高 ， 建 议 不 用 读 写 分 离 方案 ， 即 所 有 的 读 写 操作 均 在 主机 上 实现 ， 从 机 
































只 是 作为 主机 的 备份 。 





(3) MySQL 主 从 复制 同步 心得 



































笔者 近期 将 公司 的 MySQL 架 构 调整 了 一 下 ， 由 原先 的 一 主 多 从 换 成 了 DRBD+Heartbeat 双 主 多 从 ， 正 好 手 上 也 有 一 个 电子 商务 网 站 新 项 目 准备 上 线 ， 用 的 是 DRBD+Heartbeat 双 主 一 从 ， 由 于 此 过 程 








还 是 有 别 于 以 前 的 MylISAM 引 擎 的 主 从 复制 ， 所 以 这 里 也 将 其 心得 归纳 总 结 了 一 下 : 




















1) 在 3 条 交叉 线 作 为 心跳 线 的 前 提 下 ，Heartbeat 的 表现 相当 不 错 ， 它 是 极其 稳定 的 ， 不 会 出 现 大 家 担心 的 “ 脑 裂 ”问题 。 




















2) MySQL 的 replication 过 程 是 一 个 异步 同步 的 过 程 ， 并 非 完全 的 主 从 同步 ， 所 以 同步 的 过 程 中 有 延迟 ， 如 果 做 了 读 写 分 离 的 业务 ， 建 议 要 用 Nagios 监 控 此 延迟 时 间 。 


3) MySQL 的 master 与 slave 机 器 要 记得 server-id 保 持 不 一 致 ， 如 果 一 样 ，replication 过 程 中 会 出 现 如 下 报错 : 





Fatal error: The slave I/O thread stops because master and slavehave equal MySQL server ids; these ids must be different for replication to work(or the --replicate-same-server- 


这 个 问题 很 好 处 理 ， 即 将 slave 机 的 server-id 修 改 成 跟 master 机 器 不 一 致 即 可 。 






































4) 笔者 以 前 有 一 个 关于 MySQL 主 从 复制 的 误区 : slave 机 器 是 用 自己 的 二 进 制 日 志 完成 replication 过 程 ， 其 实 并 非 这 样 ， 根 据 复制 的 工作 原理 ，slave 服 务 器 是 copy 主 服务 器 的 二 进 制 日 志 到 自己 的 中 










































































继 日 志 ， 即 relay-log 日 志 ( 即 centos3-relay-bin.000002 这 种 名 字 ) 中 ， 然 后 再 把 更 新 应 用 用 到 自己 的 数据 库 上 ， 所 以 slave 机 器 不 需要 开启 二 进 制 日 志 ， 过 程 一 样 会 成 功 。 除 非 是 准备 做 主 架 构 ， 才 需要 
slave 机 器 开启 二 进 制 日 志 ， 这 个 问题 的 正确 性 也 很 好 验证 ， 大 家 可 以 关闭 从 机 的 二 进 制 日 志 ， 然 后 依照 上 面 的 步骤 进行 操作 ， 查 看 MySQL 主 从 复制 能 否 正常 进行 。 
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5) 在 master 主 机 上 授权 时 ， 尽 量 只 给 某 一 个 或 某 几 个 固定 机 器 权限 ， 让 它们 只 有 replication slave 权 限 ， 尽 量 不 要 给 予 过 高 权限 。 另 外 ， 虽 然 数据 库 一 般 是 通过 内 网 操作 ， 但 越 是 在 内 网 对 MySQL 数 








据 库 进行 授权 操作 ， 越 要 注意 安全 。 


6) 按照 正常 流程 搭建 MySQL 主 从 复制 的 话 ， 很 容易 实施 成 功 ， 如 果 出 错 ， 多 检查 网 络 环境 及 权限 问题 。 

















在 数据 库 设计 初期 ， 笔 者 已 经 将 此 电子 商务 的 数据 库 引 警 设计 定义 为 InnoDB， 除 了 数据 库 中原 有 的 系统 表 之 外 ， 其 他 表 全 部 由 MylSAM 转 为 InnoDB， 原 因 如 下 : 






































1) 电子 商务 业务 会 涉及 交易 付款 ， 在 这 种 基本 OLTP 的 应 用 中 ，InnoDB 应 该 作为 核心 应 用 表 的 首选 存储 引擎 ( 它 支 持 事务 ， 并 符合 ACID 特性 ) 。 

















2) DRBD 系 统 的 重启 过 程 比较 缓慢 ， 会 频繁 读 表 ， 如 果 表 引擎 为 MyISAM ， 极 有 可 能 出 现 损坏 情况 。 为 了 避免 造成 不 必要 的 问题 ， 笔 者 将 数据 库 的 表 引 擎 由 MylSAM 全 部 转 成 了 InnoDB 引 擎 的 表 ， 但 














是 在 与 开发 组 的 同事 进行 工作 交接 和 技术 交流 时 ， 仍 发 现 不 少 开发 组 的 同事 在 建 表 时 忽略 了 此 问题 ， 所 以 后 期 自己 动手 编写 了 一 段 SHELL 代 码 ， 定 期 检查 和 自动 更 新 。 








(4) 工作 中 遇 到 的 主 从 复制 的 问题 








熟悉 MySQL 主 从 复制 架构 的 朋友 应 该 对 一 些 常见 的 错误 十 分 熟悉 ， 主 要 就 是 网 络 、 权 限 、iptables 和 SELinux 等 的 问题 ， 平 时 注意 检查 这 些 问题 ， 处 理 起 来 就 不 会 很 困难 。 由 于 MySQL 主 从 服务 器 一 般 





放 在 内 网 环境 里 ， 记 得 在 内 网 环境 内 关闭 iptables 和 SELinux， 注 意 Slave_1O_Running 和 Slave_SQL Running 的 状态 必须 确保 为 YES， 另 外 也 要 注意 从 机 的 Seconds_Behind_Master 值 。 


1) 主 从 replication 复 制 时 遇 到 了 1062 报 错 。 





工作 中 搭建 replication 环 境 时 遇 到 了 1062 报 错 ， 详 细 过 程 如 下 : 

















初期 参考 MySQL 手 册 操作 ， 取 Master 主 机 的 快照 备份 ， 用 的 是 --single-transaction 选 项 ， 然 后 同步 过 程 频繁 1062 报 错 ， 报 错 日 志 如 下 : 


Last SQL ErrorErrorDuplicate entry'd36ad91bff36308de540bbd9ae6f4279'for key'PRIMARY"on query.Default database:'mypharma'.Query:'INSERT 


INTO lee sessions (session id', ‘ip address’, ‘user agent ，'last_activity ， ‘user data ) VALUES ('‘d36ad91bff36308de540bbd9ae6f4279', '180.153.201.218', 'Mozilla/4.0', 1353394206, " 











随后 改变 思路 ， 用 --master-data 选 项 获取 主 master 快 照 备份 ， 命 令 如 下 所 示 : 








mysqldump -uroot --quick --flush-logs --master-qata=1 -p myproject > myproject.sql 











--master-data 的 用 法 为 : 通过 此 参数 获 备 份 SQL 文 件 时 会 建议 一 个 slave replication， 当 其 值 为 1 时 ，SQL 文 件 中 会 记录 change master 语 句 ; 当 其 值 为 2 时 ，change master 会 被 写成 SQL 注释 。-- 












































master-data 在 没有 使 用 --single-transaction 选 项 的 情况 下 会 自动 使 用 lock-all-tables 选 项 〈 即 这 两 个 选项 不 要 搭配 使 用 ) 。 























如 何 查找 SQL 中 的 LOG_FILE 及 LOG_POS 了 呢 ? 可 以 使 用 如 下 命令 (请 注意 change 单 词 为 大 写 ) : 














grep "CHANGE " myproject.sql 


此 命令 结果 如 下 所 示 : 


CHANGE MASTER TO MASTER LOG FILE='mysql-bin.000008', MASTER LOG POS=106; 


接 下 来 的 replication 过 程 就 不 详细 说 明了 ， 同 步 完 成 后 经 过 一 段 时 间 的 观察 ， 再 也 没有 发 生 1062 报 错 ， 如 下 所 示 : 





mysql> show slave status \G; 
六 闯关 炎炎 六 六 闫 次 六 交大 六 交大 大 次 六 六 大 因 六 大 六 六 交大 了] 。 
Slave _ IO State: 
Master Host: 
Master User: 
Master Port: 
Connect Retry: 
Master Log File: 
Read Master Log Pos: 
“Relay Log File: 
Relay Log Pos: 
Relay Master Log File: 
Slave_IO Running: 
Slave SQL Running: 
Replicate Do_DB: 
Replicate Ignore DB: 
Replicate Do Table: 
Replicate Ignore Table: 
Replicate Wild Do Table: 
Replicate Wild Ignore Table: 
Last Errno: 
Last_ Error: 
Skip Counter: 
Exec Master Log Pos: 
Relay Log Space: 
Until Condition: 
Until Log File: 
Until Log Pos: 
Master_ SSL Allowed: 
Master SSL CA File: 
Master SSL CA Path: 
Master SSL Cert: 
Master SSL Cipher: 
Master SSL Key: 
Seconds Behind Master: 
Master_ SSL Verify Server Cert: 
Last_IO Errno: 
Last_ 10 Error: 
Last SQL Errno: 
Last_SQL Error: 

1 row in set (0.00 sec) 


工 OW 认 炎 页 六 大 痰 六 大庆 六 六 六 庙 淡 交火 大 大 六 六 闪光 交火 大大 六 


Waiting for master to send event 
192.168.11.174 


mysql-bin.000008 

27880 
centos3-relay-bin.000002 
28025 

mysql-bin.000008 

Yes 

Yes 





以 前 的 























目前 还 在 测试 Eext3 和 Ext4 文 件 系统 对 数据 库 的 影响 ， 感 觉 MySQL 性 能 优化 不 大 ， 反 而 ，SSD 固 态 硬 盘 对 于 提升 磁盘 /O 方 


硬盘 。 


2) 主 从 同步 遇 到 的 外 键 问题 。 





项 目 也 较 多 牵涉 了 InnoDB 引 擎 数据 库 的 备份 及 主 从 复制 ， 常 
mysqldump 这 种 逻辑 备份 方式 来 取 master 主 机 快照。 

















做 法 是 停 库 进行 





从 


























制 ， 虽 然 这 也 是 解决 问题 的 一 科 





方法 ， 但 毕竟 














H 








公司 的 电子 商务 网 站 MySQL 主 从 同步 遇 到 的 外 键 问题 如 下 : 





属于 停机 维护 ， 在 一 些 特殊 应 


9 影响 较 大 ， 如 果 大 家 对 MySQL 的 磁盘 /O 性 能 比较 看 时 
































man 


议 上 SSD 


了 请 
| 





场景 中 是 不 允许 的 ， 我 们 应 该 





时 














120307 14:44:50 [ERROR] Slave: Error 'Cannot add or update a child row: a foreign key constraint fails (`offer99/fulfillment`， CONSTRAINT “fulfillment ibfk 1 FOREIGN KEY (‘off 





治本 的 方法 。 这 个 时 候 更 应 该 静 下 心 来 处 理 这 个 问题 ， 笔 者 仔细 检查 了 两 边 数据 库 的 fulfil 


到 究竟 是 差 了 哪 3 条 数据 呢 ? 











这 里 可 以 














图 





select into outfile 的 方法 导出 两 边 offer 表 的 数据 ， 保 存 为 txt 文 件 ， 然 后 



































可 以 在 | 








形 化 工具 SQLyog 中 将 主机 上 的 这 三 条 记录 | 














SELECT * FROM offer WHERE offer id IN (658,663,694) 


3) 非 表 结构 不 同 导致 的 从 机 更 新 失败 。 


根据 MySQL 官 方 文 要 ， 如 果 碰 到 错误 的 SQL 执行 语句 ， 故 障 的 表象 是 Slave 不 会 去 同步 


如 下 命令 导出 ， 保 存 为 SQL 格式 导 进 从 机 ， 然 后 在 从 机 上 重 









































E 库 ， 所 以 要 手工 让 这 个 语句 不 去 执行 ， 跳 NN 个 导 





什么 影响 。 一 般 设置 SET GLOBAL sql_slave_skip_counter=1 就 可 以 过 去 了 ， 如 果 过 不 去 ， 就 要 具体 判断 要 跳 多 少 步 才能 正确 了 。 


这 里 提供 一 个 具体 案例 供 大 家 参考 ， 我 们 本 来 在 从 机 上 安装 了 bugfree 数 
set global sql_slave_skip_counter=N 忽 略 这 个 操作 (N 值 取决 村 








步 失败 。 这 个 时 候 可 以 














4) 主机 硬件 故障 ， 如 何 








某 次 笔者 早上 一 来 就 发 现 公司 的 网 站 打 不 开 了 ， 初 步 断 定 是 主 数 拉 
提升 为 主 服务 器 ， 应 该 如 何 操作 呢 ? 按照 如 下 步骤 进行 : 








时 候 需要 紧急 将 从 机 











(a) 



































居 库 ， 结 果 笔 者 不 小 心 在 主 数 所 





切换 主 从 服务 器 (一 主 多 从 ) 。 





居 库 上 也 安装 了 bugfree 数 据 库 ， 此 时 从 机 上 不 能 再 创建 bugfree 数 据 库 ， 
F 在 主机 建 bugfree 库 和 表 的 值 ) ， 让 数据 库 主 从 同步 正常 。 











件 步骤 后 处 理 下 一 个 对 








件 ， 而 这 个 跳 过 去 的 事件 对 数据 完整 | 


主 从 同步 时 又 遇 到 了 外 键 的 问题 ， 起 初 笔者 以 为 是 外 键 约束 的 问题 ， 在 这 上 面 浪费 了 不 少时 间 。 注 意 , 干 万 不 要 盲目 地 删除 外 键 ， 这 会 导致 在 以 后 的 MySQL 主 从 同步 维护 工作 中 后 患 无 容 ， 是 个 治标 不 
ment 和 offer 表 ， 发 现 两 边 的 offer 表 数据 不 一 致 ， 特 别 是 从 数据 库 差 了 3 条 数据 ， 那 么 我 们 如 何 从 几 万 条 数据 中 找 


Linux 下 的 diff 命 令 比较 (相信 大 家 很 熟悉 SVN 的 merge 问 题 ) ， 这 样 就 能 很 快 找 出 差 的 数据 的 offer_id 值 ， 然 后 
新 执行 slave start 命 令 进行 同步 ， 至 此 ， 故 障 排除 。 


性 没 












































(b) 在 从 数据 库 上 执行 stop slave 停 止 从 机 服务 ， 然 后 reset master 将 其 设置 成 主 数据 库 。 


(c) 在 从 机 上 将 原 有 的 主机 IP 地 址 更 换 为 此 机 器 (现在 为 master 主 数据 库 ) 地 址 。 
(d) 删除 新 的 主 数 据 库 服 务 器 的 master.info 和 relay- 


MySQL 主 从 Replication 复 制 非常 快 ， 加 上 我 们 一 般 将 其 同时 置 于 同一 交换 机 ， 所 以 网 络 方 
改动 ， 非 常 方便 。 不 过 ,使 用 MySQL 的 Replication 也 有 它 的 次 端 ， 如 果 Master 端 有 误 操 作 的 话 ，Slave 也 会 误 操作 ， 这 样 的 话 会 非常 麻烦 。 所 以 ， 如 果 是 作为 备份 机 使 
应 该 采取 延 时 Replication 的 方法 ， 通 常 是 延迟 一 天 ， 这 种 工作 需求 大 家 可 以 








后 ，Slave 端 也 会 立 四 


6.3 小 结 
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行 研究 。 














届 库 出 了 问题 ， 发 现 SSH 无 法 登录 ， 此 时 紧急 联系 机 房 人 员 让 他 们 帮忙 


的 影响 非常 小 ， 小 数据 量 的 改变 几乎 感觉 不 到 延迟 (但 还 是 





stop slave IO_THREAD 命 令 在 从 机 上 停 掉 IO_Thread 进 程 ， 确 保 从 机 上 没有 在 同步 的 SQL 语句 ， 即 出 现 Has read all relay log 语 句 字样 。 


og.info 文 件 ， 防 止 它 下 次 重启 时 还 会 按照 从 机 启动 。 






































直接 导致 replication 同 


看 启 ， 发 现 居然 无 法 重启 ， 他 们 断定 是 服务 器 硬件 出 了 问题 。 这 
属于 异步 同步 ) ， 通 常 在 Master 端 改动 以 
的 话 ， 我 们 




















在 网 站 维护 后 期 ，MySQL 数 据 库 可 以 说 是 影响 整个 项 


























后 ， 多 将 精力 放 在 SQL 语句 的 调 优 上 ， 在 设计 MySQL 高 可 











中 ， 我 们 也 应 该 多 多 关注 数据 库 方面 ， 这 样 对 自己 的 系统 运 维 /架构 设计 职业 生涯 大 有 益处 。 











本 章 首先 会 向 大 家 介绍 Linux 下 的 防火 墙 ( 即 iptables， 





7.1 ”基础 网 络 知识 


7.1.1 ”OSI 网 络 参考 模型 


OSI (Open System Interconnection) 模型 表示 一 种 














或 网 站 最 大 的 因素 ， 也 可 以 说 是 网 站 的 瓶颈 所 在 ， 压 力 都 直接 在 MySQl 数 据 库 上 ， 所 以 建议 大 家 在 设计 好 数据 库 的 架构 、 调 整 好 数据 库 的 参数 
架构 上 也 要 多 花心 思 ， 思 考 是 否 增加 高 性 能 的 redis 数 据 库 缓 存 ， 数 据 库 层面 是 否 做 读 写 分 离 来 提高 数据 库 服务 器 性 能 等 。 在 平常 的 系统 运 维 工作 



































第 7 章 ”Linux 防 火 墙 介绍 














下 面 的 内 容 简称 其 为 iptables) 的 详细 使 用 方法 ， 然 后 介绍 Linux 服 务 器 下 的 安全 防护 手段 。 初 学 Linux 防 火 墙 的 读者 可 能 会 觉得 iptables 语 法 复 
杂 ， 又 在 纯 字 符 下 操作 ， 不 容易 学 习 。 事 实 上 只 要 掌握 正确 的 方法 ， 严 格 按照 iptables 的 语法 规则 执行 ， 循 序 渐进 ， 上 手 也 是 件 很 容易 的 事情 。 学 习 iptables 跟 学 习 英 语 一 样 ， 都 有 语法 和 规律 可 言 ， 建 议 大 
家 参考 笔者 所 提供 的 iptables 学 习 脚本 和 iptables 线 上 脚本 一 起 学 习 ， 相 信 在 了 解 ijptables 的 语法 规则 后 ， 很 快 就 可 以 掌握 iptables 的 用 法 了 。 














层次 型 的 网 络 架构 。 该 模 


型 共 : 


2 


有 七 层 ， 






































层 都 提供 了 其 独特 功能 ， 如 图 7-1 所 示 。 














图 7-1 OSI 模型 的 七 层 参 考 模型 


各 层 作 用 的 具体 说 明 如 下 。 


“ 物理 层 : 主要 定义 物理 设备 标准 ， 如 网 线 的 接口 类 型 、 光 线 的 接口 类 型 、 各 种 传输 介质 的 传输 速率 等 。 它 的 主要 作用 是 传输 比特 流 〈 即 由 1、0 转 化 为 电流 强 弱 来 进行 传输 ， 到 达 目的 地 后 再 转化 为 1、 
0， 也 就 是 我 们 常 说 的 模 数 转换 与 数 模 转换 ) 。 这 一 层 的 数据 叫做 比特 ， 网 卡 在 此 层 工作 。 一 般 物 理 层 较 少 关心 网 络 入 侵 分 析 ， 更 关注 于 保证 设备 的 电缆 安全 。 





“ 数据 链 路 层 : 主要 将 从 物理 层 接 收 的 数据 进行 MAC 地 址 〈 网 卡 的 地 址 ) 的 封装 与 解 封装 。 我 们 常 把 这 一 层 的 数据 称 为 帧 。 在 这 一 层 工作 的 设备 是 交换 机 ， 数 据 通过 交换 机 进行 传输 (三 层 交 换 机 不 在 
此 层 工 作 ) 。 


“ 网 络 层 : 主要 用 于 将 从 下 层 接收 到 的 数据 进行 IP 地 址 (例如 192.168.0.1/24) 的 封装 与 解 封装 。 在 这 一 层 工作 的 设备 是 路 由 器 ， 我 们 常 把 这 一 层 的 数据 称 为 数据 包 。 


“ 传输 层 : 定义 了 一 些 传输 数据 的 协议 和 端口 号 (如 www 端 口 80 等 ) ， 比 如 : TCP (传输 控制 协议 ， 传 输 效率 低 ， 可 靠 性 强 ， 用 于 传输 可 靠 性 要 求 高 且 数 据 量 大 的 数据 ) 和 UDP (用 户 数据 报 协议 ， 与 
TCP 的 特性 恰恰 相反 ， 传 输 的 是 可 靠 性 要 求 不 高 且 数 据 量 小 的 数据 ， 如 QQ 聊天 数据 等 ) 等 。 主 要 是 将 从 下 层 接 收 的 数据 进行 分 段 传 输 ， 到 达 目 的 地 址 后 再 重组 。 我 们 常 把 这 一 层 的 数据 称 为 段 。 





“ 会 话 层 : 通过 传输 层 ( 端 口号: 传输 端口 与 接收 端口 ) 建立 数据 传输 的 通路 。 主 要 是 在 系统 之 间 发 起 会 话 或 接受 会 话 请 求 ( 设 备 之 间 可 通过 IP， 也 可 通过 MAC 或 主机 名 相互 认识 ) 。 











“ 表示 层 : 主要 是 对 接收 的 数据 进行 解释 、 加 密 与 解密 、 压 缩 与 解压 缩 等 操作 (也 就 是 把 计算 机 能 够 识别 的 东西 转换 成 人 能 够 能 识别 的 东西 ， 比 如 图 片 、 声 音 等 ) 。 





“ 应 用 层 : 主要 是 一 些 终端 的 应 用 ， 如 FTP (文件 下 载 ) 、Web (IE 浏 览 ) 、QQ 等 (把 它 理解 成 我 们 在 电脑 屏 莫 上 可 以 看 到 的 东西 即 可 ， 也 就 是 终端 应 用 ) ， 也 可 以 说 应 用 层 就 是 负责 向 用 户 或 应 用 程 


7.1.2 TCP/IP 三 次 握手 的 过 程 详解 





下 面 为 大 家 介绍 TCP/IP 三 次 握手 /四 次 挥手 的 详细 过 程 。 














1. 建 立 连接 协议 (三 次 握手 ) 
TCP/IP 三 次 握手 的 详细 过 程 如 下 : 


1) 客户 端 发 送 一 个 带 SYN 标 志 的 TCP 报 文 到 服务 器 。 这 是 三 次 握手 过 程 中 的 报 文 1。 

















2) 服务 器 端 回 应 客户 端的 是 三 次 握手 中 的 第 2 个 报 文 。 这 个 报 文 同时 带 ACK 标 志和 SYN 标 志 ， 它 表示 对 刚才 客户 端 SYN 报 文 的 回应 ， 同 时 又 将 标志 SYN 传 给 客户 端 ， 询 问 客户 端 是 否 准备 好 进行 数据 通 





3) 客户 必须 再 次 回应 服务 段 一 个 ACK 报 文 ， 这 是 报 文 3。 


说 
Oh x (message) 是 网 络 中 交换 与 传输 的 数据 单元 ， 其 中 包含 了 将 要 发 送 的 完整 数据 信息 ， 其 长 短 很 不 一 致 。 报 文 又 可 分 为 自由 报 文 和 数字 报 文 两 种 。 它 也 是 网 络 传输 的 单位 ， 会 不 断 地 通过 封装 成 
分 组 、 包 、 帧 来 进行 传输 ， 封 装 的 方式 就 是 添加 一 些 信 息 段 ， 所 添加 的 信息 段 就 是 报 文 头 。 


2. 连 接 终止 协议 (四 次 挥手 ) 








由 于 TCP 连 接 是 全 双 工 的 ， 因 此 每 个 方向 都 必须 单独 进行 关闭 。 原 则 上 是 当 一 方 完成 它 的 数据 发 送 任务 时 就 发 送 一 个 FIN 来 终止 这 个 方向 的 连接 。 收 到 一 个 FIN 只 意味 着 这 一 方向 上 没有 数据 流动 了 ， 一 
个 TCP 连 接 在 收 到 一 个 FIN 后 仍 能 发 送 数据 。 首 先 关闭 的 一 方 将 执行 主动 关闭 ， 而 另 一 方 则 执行 被 动 关闭 。 具 体 步骤 如 下 : 























1) TCP 客 户 端 发 送 一 个 FIN， 用 于 关闭 客户 到 服务 器 的 数据 传送 ( 报 文 4) 。 


























2) 服务 器 收 到 这 个 FIN， 它 发 回 一 个 ACK， 确 认 序号 为 收 到 的 序号 加 1 ( 报 文 5)) 。 和 SYN 一 样 ， 一 个 FIN 将 占用 一 个 序号 。 





3) 服务 器 关闭 客户 端的 连接 ， 发 送 一 个 FIN 给 客户 端 ( 报 文 6) 。 





4) 客户 段 发 回 ACK 报 文 确认 ， 并 将 确认 序号 设置 为 收 到 的 序号 加 1 ( 报 文 7) 。 

在 TCP 三 次 握手 /四 次 挥手 的 过 程 中 存在 着 多 种 TCP 连 接 状 态 ， 如 下 。 

“ CLOSED: 这 个 没什么 好 说 的 了 ， 表 示 初 始 状态 。 

“ LISTEN: 这 也 是 非常 容易 理解 的 一 个 状态 ， 表 示 服 务 器 端的 某 个 SOCKET 处 于 监听 状态 ， 可 以 接受 连接 了 。 

“SYN_RCVD: 这 个 状态 表示 接收 到 了 SYN 报 文 ， 在 正常 情况 下 ， 这 个 状态 是 服务 器 端的 SOCKET 在 建立 TCP 连 接 时 的 三 次 握手 会 话 过 程 中 的 一 个 中 间 状 态 ， 很 短暂 ， 基 本 上 用 netstat 命 令 很 难看 到 这 种 
状态 ， 除 非特 意 写 了 一 个 客户 端 测试 程序 ， 故 意 将 三 次 TCP 握 手 过 程 中 最 后 一 个 ACK 报 文 不 予 发 送 。 在 这 种 情况 下 ， 当 收 到 客户 端的 ACK 报 文 时 ， 它 会 进入 到 ESTABLISHED 状 态 。 

“SYN_SENT: 这 个 状态 与 SYN_RCVD 互 相 呼 应 ， 当 客户 端 SOCKET 执 行 CONNECT 连 接 时 ， 它 首先 会 发 送 SYN 报 文 ， 随 即 进 入 SYN_SENT 状 态 ， 并 等 待 服务 端 发 送 三 次 握手 中 的 第 2 个 报 文 。 
SYN_SENT 状 态 表 示 客 户 端 已 发 送 SYN 报 文 。 

“ESTABLISHED: 这 个 容易 理解 ， 表 示 连 接 已 经 建立 了 。 


“FIN_WAIT 1: 这 个 状态 要 好 好 解释 一 下 ， 其 实 FIN_WAIT_1 和 FIN_WAIT_ 2 状态 的 真正 含义 都 是 表示 等 待 对 方 的 FIN 报 文 。 而 这 两 种 状态 的 区 别 是 ，FIN_WAIT 1 状态 实际 上 是 当 SOCKET 在 
ESTABLISHED 状 态 时 ， 它 想 主动 关闭 连接 ， 于 是 向 对 方 发 送 了 FIN 报 文 ， 然 后 该 SOCKET 就 进入 到 FIN_WAIT 1 状态 了 。 而 在 对 方 回应 ACK 报 文 后 ， 则 进入 FIN_WAIT 2 状态， 当然 在 实际 的 正常 情况 下 ， 


无 论 对 方 处 于 何 种 情况 下 ， 都 应 该 马上 回应 ACK 报 文 ， 所 以 一 般 比 较 难 见 到 FIN_WAIT 1 状态 ， 而 FIN_WAIT 2 状态 常常 可 以 用 netstat 看 到 。 
:FIN WAIT 2: 上 面 已 经 详细 解释 了 这 种 状态 ， 实 际 上 FIN_WAIT 2 状态 下 的 SOCKET 表 示 半 连接 ， 即 有 一 方 要 求 close 连 接 ， 同 时 还 会 告诉 对 方 ， 我 暂时 还 有 点 数据 需要 传送 给 你 ， 稍 后 再 关闭 连接 。 


"TIME_WAIT: 表示 收 到 了 对 方 的 FIN 报 文 ， 并 发 送出 了 ACK 报 文 ， 就 等 2MSL 后 回 到 CLOSED 可 用 状态 。 如 果 FIN_WAIT 1 状态 下 ， 收 到 了 对 方 同 时 带 FIN 标 志和 ACK 标 志 的 报 文 ， 可 以 直接 进入 到 
TIME_WAIT 状 态 ， 而 无 须 经 过 FIN_WAIT_ 2 状态 。 

"CLOSING: 这 种 状态 比较 特殊 ， 在 实际 应 用 中 很 少见 ， 属 于 一 种 比较 罕见 的 例外 状态 。 正 常情 况 下 ， 当 你 发 送 FIN 报 文 时 ， 按 理 来 说 应 该 先 收 到 (或 同时 收 到 ) 对 方 的 ACK 报 文 ， 再 收 到 对 方 的 FIN 
报 文 。 但 是 CLOSING 状 态 表 示 你 发 送 FIN 报 文 后 ， 并 没有 收 到 对 方 的 ACEK 报 文 ， 而 是 收 到 了 对 方 的 FIN 报 文 。 在 什么 情况 下 会 出 现 此 状况 呢 ? 如 果 双 方 几 乎 在 同时 close 一 个 SOCKET， 那 么 就 会 出 现 双方 同 
时 发 送 FIN 报 文 的 情况 ， 也 会 出 现 CLOSING 状 态 ， 表 示 双 方 都 正在 关闭 SOCKET 连 接 。 

“ CLOSE_WAIT: 这 种 状态 的 含义 其 实 是 表示 正在 等 待 关闭 。 当 对 方 close 一 个 SOCKET 后 发 送 FIN 报 文 给 自己 ， 系 统 毫 无 疑问 会 回应 一 个 ACK 报 文 给 对 方 ， 此 时 则 进入 到 CLOSE_WAIT 状 态 。 实 际 上 接 
下 来 你 真正 需要 考虑 的 事情 是 ， 查 看 你 是 否 还 有 数据 要 发 送 给 对 方 ， 如 果 没 有 的 话 ， 那 么 你 就 可 以 CLOSE 这 个 Socket， 发 送 FIN 报 文 给 对 方 ， 即 关闭 连接 。 所 以 在 CLOSE_WAIT 状 态 下 ， 你 需要 完成 的 事情 
是 等 待 ， 然 后 关闭 连接 。 


“LAST_ACK: 这 个 状态 还 是 比较 好 理解 的 ， 它 是 被 动 关闭 的 一 方 在 发 送 FIN 报 文 后 ， 最 后 等 待 对 方 的 ACK 报 文 。 当 收 到 ACK 报 文 时 ， 就 表示 可 以 进入 CLOSED 可 用 状态 了 。 











现在 ， 请 大 家 思考 一 个 问题 : 为 什么 TIME_WAIT 状 态 还 需要 等 2MSL ( 报 文 最 大 生存 时 间 ) 后 才能 返回 到 CLOSED 状 态 ? 





答案 是 虽然 双方 都 同意 关闭 连接 了 ， 而 且 握 手 的 4 个 报 文 也 都 协调 发 送 完毕 ， 按 理 可 以 直接 回 到 CLOSED 状 态 (就 好 比 从 SYN_SEND 状 态 到 ESTABLISH 状 态 ) ， 但 是 因为 我 们 必须 要 假想 网 络 是 不 可 靠 


的 ， 你 无 法 保证 最 后 发 送 的 ACK 报 文 一 定 会 被 对 方 收 到 ， 比 如 对 方 处 于 LAST_ACK 状 态 下 的 SOCKET 可 能 会 因为 超时 未 收 到 ACK 报 文 ， 此 时 就 需要 重 发 FIN 报 文 了 ， 所 以 这 个 TIME_WAIT 状 态 的 作用 就 是 









































于 重 发 可 能 丢失 的 ACK 报 文 。 


希望 下 面 的 流程 图 能 够 帮助 大 家 理解 这 个 过 程 ， 如 图 7-2 所 示 。 











图 7-2 TCP/IP 三 次 握手 流程 图 (顺序 为 NEW—SYN/ACK 一 ACK) 


7.1.3” ”Socket 应 用 


随 着 TCP/IP 协 议 的 使 用 ，Socket ( 套 接 字 ) 也 越 来 越 频繁 地 被 使 用 在 网 络 应 用 程序 的 构建 中 。 实 际 上 ，Socket 编 程 已 经 成 为 了 网 络 中 传送 和 接收 数据 的 首选 方法 。 套 接 字 相当 于 应 用 程序 访问 下 层 网 络 
服务 的 接口 ， 使 用 套 接 字 ， 可 以 让 不 同 的 主机 之 间 可 以 进行 通信 ， 从 而 实现 数据 交换 。Socket 通 信 则 用 于 在 双方 建立 起 连接 后 直接 进行 数据 的 传输 ， 还 可 以 在 连接 时 实现 信息 的 主动 推送 ， 而 不 需要 每 次 由 
客户 端 向 服务 器 发 送 请 求 。Socket 的 主要 特点 包括 数据 丢失 率 低 、 使 用 简单 且 易 于 移植 等 。 


套 接 字 在 工作 的 时 候 会 将 连接 的 对 端 分 成 服务 器 端 和 客户 端 ， 服 务 器 程序 将 在 一 个 众所周知 的 端口 上 监听 服务 请 求 ， 换 而 言 之 ， 服 务 进 程 始 终 是 存在 的 ， 直 到 有 客户 端的 访问 请 求 唤醒 服务 器 进程 ， 此 
时 ， 服 务 器 进程 会 和 客户 端 进程 之 间 进 行 通信 ， 交 换 数据 。Socket 服 务 器 端 和 客户 端 通信 的 流程 图 如 图 7-3 所 示 。 





TCP 服 务 硕 端 


TCP 客 户 端 


阻塞 直到 有 客户 端 连接 










建立 连接 


处 理 请 求 






有 兴趣 的 朋友 可 以 研究 下 现在 流行 的 开源 翻 墙 软件 Shadowsocks， 以 此 来 加 深 socket 服 务 器 端 和 客户 端的 通信 流程 。Shadowsocks 是 一 个 安全 的 socks5 代 理 ， 用 于 保护 网 络 流量 ， 也 是 一 个 开源 项 
目 。 通 过 客户 端 以 指定 的 密码 、 加 密 方 式 和 端口 连接 服务 器 成 功 连接 到 服务 器 后 ， 客 户 端 在 用 户 的 电脑 上 构建 一 个 本 地 socks5 代 理 ， 使 用 时 将 流量 分 到 本 地 socks5 代 理 ， 客 户 端 将 自动 加 密 并 转发 流量 到 服 
务 器 ， 服 务 器 以 同样 的 加 密 方式 将 流量 回 传 给 客户 端 ， 以 此 实现 代理 上 网 。 


close() 





图 7-3 ” Socket 服务 器 端 和 客户 端 通信 过 程 流程 图 



























































7.14 ”其 他 基础 网 络 知识 





希望 大 家 也 能 够 了 解 和 掌握 其 他 关于 网 络 的 基础 知识 ， 比 如 子 网 划分 、UDP 的 连接 原理 、 硬 件 防火 墙 的 工作 模式 等 。 如 果 确 实 对 网 络 这 块 不 熟悉 ， 建 议 先 预习 下 CCNA 的 基础 知识 和 概念 ， 这 对 于 我 们 
掌握 接 下 来 的 Linux 防 火 墙 知识 还 是 很 有 帮助 的 。 无 论 读者 从 事 的 是 系统 工作 还 是 DevOps 开 发 工作 ， 基 础 的 网 络 知识 都 是 必 不 可 少 的 ， 推 荐 大 家 有 时 间 阅 读 一 人 CCNA 的 基础 网 络 知识 ， 限 于 篇 幅 ， 本 书 就 
不 做 详细 说 明了 。 





7.2 Linux 防 火 墙 的 状态 机 制 























iptables 的 最 大 优点 是 它 可 以 配置 有 状态 的 防火 墙 ， 这 是 ipfwadm 和 ipchains 等 工具 都 无 法 提供 的 一 种 重要 功能 。 状 态 机 制 是 iptables 中 较为 特殊 的 一 部 分 ， 这 也 是 iptables 和 之 前 的 工具 比较 大 的 区 别 
之 一 ， 运 行 状态 机 制 (连接 跟踪 ) 的 防火 墙 称 作 带 有 状态 机 制 的 防火 墙 ， 以 下 简称 为 状态 防火 墙 。 状 态 防 火 墙 比 非 状态 防火 墙 更 安全 ， 因 为 它 允 许 我 们 编写 更 严密 的 规则 。 























有 状态 的 防火 墙 能 够 指定 并 记 住 为 发 送 或 接收 信息 包 所 建立 的 连接 状态 。 防 火 墙 可 以 从 信息 包 的 连接 跟踪 状态 获得 该 信息 。 在 决定 过 滤 新 的 信息 包 时 ， 防 火 墙 所 使 用 的 这 些 状态 信息 可 以 增加 其 效率 和 
速度 。 这 里 有 四 种 有 效 状 态 ， 分 别 为 ESTABLISHED、INVALID、NEW 和 RELATED， 详 细 介绍 如 下 : 


“ESTABLISHED 指 出 该 信息 包 属 于 已 建立 的 连接 ， 该 连接 一 直 用 于 发 送 和 接收 信息 包 并 且 完全 有 效 。 
:INVALID 指 出 该 信息 包 与 任何 已 知 的 流 或 连接 都 不 关联 ， 它 可 能 包含 错误 的 数据 或 头 。 
“NEW 意味 着 该 信息 包 已 经 或 即将 启动 新 的 连接 ， 或 者 它 与 尚未 用 于 发 送 和 接收 信息 包 的 连接 相关 联 。 


" RELATED 表 示 该 信息 包 正 在 启动 新 连接 ， 以 及 它 与 已 建立 的 连接 相关 联 。 由 于 iptables 的 状态 在 iptables 脚 本 里 用 得 比较 多 ， 将 会 在 后 面 的 章节 中 详细 介绍 说 明 。 












































iptables 的 另 一 个 重要 优点 是 ， 它 可 以 使 用 户 完全 控制 防火 墙 的 配置 和 信息 包 过 滤 ， 可 以 通过 定制 规则 来 满足 自己 的 特定 需求 ， 从 而 只 允许 自己 想 要 的 网 络 流量 进入 系统 。 


另外 ，iptables 是 免费 的 ， 它 可 以 代 蔡 昂 贵 的 防火 墙 解决 方案 。 


7.3 “Linux 防 火 墙 在 企业 中 的 应 用 





Linux 防 火 墙 ( 即 Netfilter/lptables IP 过 滤 系 统 ) 在 企业 中 应 用 非常 广泛 ， 那 么 ， 它 究竟 应 用 在 哪些 方面 呢 ? 

“ 对 于 IDC 机 房 的 服务 器 ， 可 以 用 Linux 防 火 墙 代 替 硬件 机 防火 墙 ， 由 于 IDC 机 房 的 机 器 一 般 没 有 硬件 防火 墙 ， 用 开源 免费 的 iptables 是 一 个 性 价 比较 高 的 选择 ; 
“ 利用 iptables 作 为 企业 的 NAT 路 由 器 ， 从 而 代替 传统 的 路 由 器 供 企业 内 部 员工 上 网 ，Linux 防 火 墙 在 节约 成 本 和 有 效 控制 上 也 有 它 独 有 的 优势 。 

“ 端口 转发 的 作用 ， 比 如 说 要 访问 某 台 应 用 服务 器 的 80 端 口 ， 但 通过 iptables 的 端口 转发 ， 可 以 让 其 转发 到 别 的 机 器 的 8080 端 口 。 

“ 结合 Squid 作 为 企业 内 部 上 网 的 透明 代理 。 传 统 的 代理 需要 在 浏览 器 里 配置 代理 服务 器 信息 ， 而 iptables 结 合 Squid 的 透明 代理 可 以 把 客户 端的 请 求 重 定向 到 代理 服务 器 的 端口 ， 让 客户 端 感觉 不 到 代理 的 
存在 ， 当 然 ， 客 户 端 也 无 须 做 任何 代理 设置 。 


* 用 于 外 网 IP 向 内 网 IP 映 射 。 假 设 有 一 家 ISP 提 供 园区 Internet 接 入 服务 ， 为 了 方便 管理 ， 该 ISP 分 配给 园区 用 户 的 IP 地 址 都 是 内 网 IP， 但 是 部 分 用 户 要 求 建立 自己 的 Web 服 务 器 对 外 发 布 信息 ， 此 时 ， 可 以 


在 防火 墙 的 外 部 网 卡 上 绑 定 多 个 合法 IP 地 址 ， 然 后 通过 IP 映 射 使 发 给 其 中 某 一 个 IP 地 址 的 包 转 发 至 内 部 用 户 的 Web 服 务 器 上 ， 这 样 内 部 的 Web 服 务 器 也 可 以 对 外 提供 服务 了 ， 这 种 形式 的 NAT 一 般 称 为 


DNAT， 在 后 面 的 集群 架构 环节 ， 经 常 将 负载 均衡 器 的 内 网 VIP 的 80 和 443 端 口 通过 防火 墙 映射 成 公 网 IP 的 80 和 443 端 口 ， 这 也 是 DNAT 的 实现 形式 之 一 。 


- 防止 轻 量 级 的 DOS 攻 击 ， 比 如 ping 攻 击 及 SYN 洪 水 攻击 。 我 们 利用 iptables 实 现 相 关 安 全 策略 还 是 很 有 效果 的 。 


7.4 Linux 防 火 墙 的 语 ; 


对 于 数据 报 而 言 ， 有 以 下 几 个 流向 : 
* PREROUTING 一 FORWARD 一 POSTROUTING 


" PREROUTING 一 INPUT 一 本 机 OUTPUT 一 POSTROUTING 











大 家 可 能 会 发 现 ， 数 据 报 的 两 种 主 oe oid 一 种 是 用 做 NAT 路 由 器 ， 另 一 种 是 用 做 主机 防火 墙 ， 所 以 要 对 应 地 在 iptables 的 规则 链 上 做 文章 (工作 中 多 用 后 面 一 


Be 


种 ， 大 家 也 可 以 将 学 习 的 重心 放 在 这 上 面 。 更 为 详细 的 iptables 数 据 流 入 和 流出 流程 ， 建 议 参考 图 7-4。 









































流入 的 数据 包 流出 的 数据 包 





内 部 
传输 过 程 





图 7-4 ”iptables 数 据 包 流入 和 流出 详细 流程 图 
iptables 会 根据 不 同 的 数据 包 处 理 功能 使 用 不 同 的 规则 表 。 它 包括 如 下 三 个 表 : filter、nat 和 mangle。 
:flter 是 默认 的 表 ， 包 含 真正 的 防火 墙 过 滤 规 则 。 内 建 的 规则 链 包 括 : INPUT、OUT PUT 和 FORWARD。 
.nat 表 包含 源 地 址 、 目 的 地 址 及 端口 转换 使 用 的 规则 ， 内 建 的 规则 链 包 括 PERROU TING、OUTPUT 和 POSTROUTING。 
:mangle 表 包含 用 于 设置 特殊 的 数据 包 路 由 标志 的 规则 。 这 些 标志 随后 被 filter 表 中 的 规则 检查 。 内 建 的 规则 链 包括 : PREROUTING、INPUT、FORWARD、POSTR OUTING 和 OUTPUT。 
“ 表 对 应 的 相关 规则 链 的 功能 如 下 。 
“ INPUT 链 : 当 一 个 数据 包 由 内 核 中 的 路 由 计算 确定 为 本 地 的 Linux 系 统 后 ， 它 会 通过 INPUT 链 的 检查 。 
:OUTPUT 链 : 保留 给 系统 自身 生成 的 数据 包 。 
“ FORWARD 链 : 经 过 Linux 系 统 路 由 的 数据 包 ( 即 当 iptables 防 火 墙 用 于 连接 两 个 网 络 时 ， 两 个 网 络 之 间 的 数据 包 必须 流 经 该 防火 墙 ) 。 
: PREROUTING 链 : 用 于 修改 目的 地 址 (DNAT) 。 
“ POSTROUTING 链 : 用 于 修改 源 地 址 (SNAT) 。 


iptables 详 细 语 法 如 下 所 示 : 





iptables [-t 表 名 ] <-A| I 1D |R > 链 名 [规则 编号 ] [-i | o 网 卡 名 称 ] [-p 协议 类 型 ] [-s 源 IP 地 址 | 源 子 网 ] [--sport 源 端口 号 ] [-d 目标 IP 地 址 | 目标 子 网 ] [--dport 目标 端口 号 ] <-j 动作 > 





@@ 洁 bo 语法 规则 详细 ， 远 辑 清晰 ， 推 荐 以 此 语法 公式 记忆 。 在 刚 开 始 写 iptables 规 则 时 就 应 该 养 成 良好 的 习惯 ， 用 公式 来 规范 脚本 ， 这 对 以 后 的 工作 大 有 帮助 。 
下 面 是 关于 语法 的 详细 说 明 。 

1. 定 义 默认 策略 

作用 : 当 数 据 包 不 符合 链 中 任意 一 条 规则 时 ，iptables 将 根据 该 链 预先 定义 的 默认 策略 来 处 理 数据 包 。 

默认 策略 的 定义 格式 为 : 





iptables ”[-t 表 名 ] ”<-P> < 链 名 > < 动作 > 





参数 说 明 如 下 : 





[-t 表 名 ] 





指 默 认 策 略 将 应 用 于 哪个 表 ， 可 以 使 用 filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 用 filter 表 。 





<=-P> 





定义 默认 策略 。 





< 链 名 > 





指 默 认 策略 将 应 用 于 哪个 链 ， 可 以 使 用 INPUT、OUTPUT、FORWARD、PREROUT ING、OUTPUT 和 POSTROUTING。 





< 动作 > 





处 理 数据 包 的 动作 ， 可 以 使 用 ACCEPT (接收 数据 包 ) 和 DROP (丢弃 数据 包 ) 。 
2. 查 看 iptables 规 则 


查看 iptables 规 则 的 命令 格式 为 : 





iptables [~t 表 名 ] <-L> [ 链 名 ] 





参数 说 明 如 下 : 





[-t 表 名 ] 





指 查 看 哪个 表 的 规则 列表 ， 表 名 可 以 使 用 filter、nat 和 mangle， 如 果 没有 指定 使 用 哪个 表 ，iptables 就 默认 查看 filter 表 的 规则 列表 。 





<-L> 





查看 指定 表 和 指定 链 的 规则 列表 。 





[ 链 名 ] 





指 查看 指定 表 中 哪个 链 的 规则 列表 ， 可 以 使 用 NPUT、OUTPUT、FORWARD、PRER OUTING、OUTPUT 和 POSTROUTING， 如 果 不 指明 哪个 链 ， 则 将 查看 某 个 表 中 所 有 链 的 规则 列表 。 
3. 增 加 、 播 入、 删除、 替换 iptables 规 则 


参数 说 明 如 下 : 





[-t 表 名 ] 








定义 默认 策略 将 应 用 于 哪个 表 ， 可 以 使 用 filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 用 filter 表 。 








-A 





新 增 一 条 规则 ， 该 规则 将 会 增加 到 | 规则 列表 的 最 后 一 行 ， 该 参数 不 能 使 用 规则 编号 。 











插入 一 条 规则 ， 原 本 该 位 置 上 的 规则 将 会 往 后 顺序 移动 ， 如 果 没 有 指定 规则 编号 ， 则 在 第 一 条 规则 前 插入 。 








从 规则 列表 中 删除 一 条 规则 ， 可 以 输入 完整 规则 ， 或 直接 指定 规则 编号 加 以 删除 。 








替换 某 条 规则 ， 规 则 被 替换 并 不 会 改变 顺序 ， 必 须要 指定 蔡 换 的 规则 编号 。 





< 链 名 > 








指定 查看 表 中 哪个 链 的 规则 列表 ， 可 以 使 用 INPUT、OUTPUT、FORWARD、PREROUT ING、OUTPUT 和 POSTROUTING。 





[规则 编号 ] 





规则 编号 在 插入 、 删 除 和 蔡 换 规则 时 使 用 ， 编 号 按照 规则 列表 的 顺序 排列 ， 规 则 列表 中 第 一 条 规则 的 编号 为 1。 





[-i | o 网 卡 名 称 ] 


























于 指定 数据 包 从 哪 块 网 卡 进入 ，o 用 于 指定 数据 包 从 哪 块 网 卡 输出 。 网 卡 名 称 可 以 使 用 ppp0、eth0 和 eth1 等 。 





[-P 协议 类 型 ] 





可 以 指定 规则 应 用 的 协议 ， 包含 TCP、UDP 和 ICMP 等 。 








[-s 源 IP 地 址 | 源 子 网 ] 





-s 后 面 接 源 主机 的 IP 地 址 或 子 网 地 址 。 





[--sport 源 端口 号 ] 














--sport 后 面 接 数 据 包 的 IP 源 端 





业 











[-d 目标 IP 地 址 | 目标 子 网 ] 





-d 后 面 接 目标 主机 的 IP 地 址 或 子 网 地 址 。 





[--dport 目标 端口 号 ] 





--dport 后 面 接 数据 包 的 IP 目 标 端 口号 。 





<-j 动作 > 





下 面 是 处 理 数据 包 的 动作 ， 以 及 各 个 动作 的 详细 说 明 。 

“ ACCEPT: 接收 数据 包 。 

“ DROP: 丢弃 数据 包 。 

“REDIRECT: 将 数据 包 重 新 转向 到 本 机 或 另 一 台 主 机 的 某 一 个 端口 ， 通 常 实现 透明 代理 或 对 外 开放 内 网 的 某 些 服 务 。 

REJECT: 拦截 该 数据 封包 ， 并 发 回 封 包 通 知 对 方 。 

“ SNAT: 源 地 址 转换 ， 即 改变 数据 包 的 源 地 址 。 例 如 : 将 局 域 网 的 IP (10.0.0.1/24) 转化 为 广域网 的 IP (203.93.236.141/24) ， 在 NAT 表 的 POSTROUTING 链 上 进行 该 动作 。 

DNAT: 目标 地 址 转换 ， 即 改变 数据 包 的 目的 地 址 。 例 如 : 将 广域网 的 IP (203.93.236.141/24) 转化 为 局 域 网 的 IP (10.0.0.1/24) ， 在 NAT 表 的 PREROUTING 链 上 进行 该 动作 。 

:. MASQUERADE: IP 擅 装 ， 即 常 说 的 NAT 技 术 ，MASQUERADE 只 能 用 于 ADSL 等 拨号 上 网 的 IP 伪 装 ， 也 就 是 主机 的 IP 由 ISP 分 配 动态 ， 如 果 主 机 的 IP 地 址 是 静态 固定 的 ， 就 要 使 用 SNAT。 
“LOG: 日 志 功能 ， 将 符合 规则 的 数据 包 相 关 信 息 记 录 在 日 志 中 ， 以 便 管 理 员 的 分 析 和 排 错 。 


4 清除 规则 和 计数 器 








在 新 建 规则 时 ， 往 往 需要 清除 原 有 的 旧 规则 ， 以 免 它们 影响 新 设 定 的 规则 。 如 果 规 则 较 多 ， 逐 条 删除 就 会 十 分 麻烦 ， 此 时 可 以 使 用 iptables 提 供 的 清除 规则 参数 达到 快速 删除 所 有 规则 的 目的 。 














定义 参数 的 格式 为 : 





iptables  [-t 表 名 ] <-F | 2> 





参数 说 明 如 下 : 





[-t 表 名 ] 




















指定 默认 策略 将 应 用 于 哪个 表 ， 可 以 使 用 filter、nat 和 mangle， 如 果 没 有 指定 使 用 哪个 表 ，iptables 就 默认 使 用 filter 表 。 
































通过 如 下 命令 删除 指定 表 中 的 所 有 规则 。 





= 








将 指定 表 中 的 数据 包 计 数 器 和 流量 计数 器 归 零 。 


7.5 iptables 的 基础 知识 


7.5.1 iptables 的 状态 state 


在 7.2 节 中 提 到 了 state 这 个 定义 ， 这 里 将 对 iptables 防 火 墙 的 状态 (state) 进行 说 明 。 




















比如 ， 当 我 们 用 PieTTY 远 程 工具 访问 远程 主机 的 SSH 端 口 时 ， 主 机 会 和 远程 主机 进行 通信 。 此 时 ， 静 态 的 防火 墙 会 这 样 处 理 : 检查 进入 机 器 的 数据 包 ， 发 现 数据 的 来 源 是 22 端 口 ， 当 这 些 数据 包 人 允许 时 
进入 主机 本 身 ， 连 接 之 后 相互 通信 的 数据 也 一 样 ， 检 查 每 个 数据 ， 如 果 发 现 数据 包 来 源 于 22 端 口 ， 允 许 通 过 。 









































如 果 用 有 状态 的 防火 墙 该 如 何 处 理 呢 ? 


























在 连接 远程 主机 成 功 之 后 ， 主 机 会 把 这 个 连接 记录 下 来 ， 当 有 数据 从 远程 SSH 服 务 器 进入 你 的 机 器 时 ， 它 会 检查 自己 的 连接 状态 表 ， 如 果 发 现 这 个 数据 来 源 于 一 个 已 经 建立 的 连接 ， 则 允许 这 个 数据 包 
进入 。 











以 上 两 种 处 理 方法 中 ， 明 显 静态 防火 墙 比较 生硬 ， 而 iptables 防 火 墙 相对 智能 一 些 ， 这 也 是 iptables 防 火 墙 的 特点 之 一 。 
下 面 将 解释 以 下 几 种 state 状 态 。 

“NEW: 如 果 你 的 主机 向 远程 机 器 发 出 一 个 连接 请 求 ， 这 个 数据 包 的 状态 是 NEW。 

“ESTABLISHED: 在 连接 建立 之 后 (完成 TCP 的 三 次 握手 后 ) ， 远 程 主机 和 你 的 主机 通信 数据 的 状态 为 ESTABLISHED。 


“ RELATED: 和 现 有 联机 相关 的 新 联机 封包 。 像 FTP 这 样 的 服务 ， 用 21 端 口传 送 命令 ， 而 用 20 端 口 (port 模 式 ) 或 其 他 端口 (PASV 模 式 ) 传送 数据 。 在 已 有 的 21 端 口上 建立 好 连接 后 发 送 命令 ， 用 20 或 
其 他 端口 传送 的 数据 (FTP-DATA) ， 其 状态 是 RELATED。 


:INVALID: 无 效 的 数据 包 ， 不 能 被 识别 属于 哪个 连接 或 没有 任何 状态 ， 通 常 这 种 状态 的 数据 包 会 被 丢弃 。 


了 解 以 上 知识 后 ， 就 可 以 进行 一 个 简单 的 实验 了 。 





首先 ， 还 是 来 设置 默认 规则 ， 如 下 所 示 。 








iptables -P INPUT DROP 























这 样 你 的 机 器 会 将 进入 你 主机 的 所 有 数据 全 部 丢弃 ， 建 议 大 家 写 iptables 脚 本 时 就 先 默认 禁止 一 切 连 接 ， 然 后 再 根据 应 用 或 需求 开放 相应 的 端口 。 





























如 果 有 一 台 主 机 只 是 用 于 个 人 桌面 应 用 的 ， 也 就 是 说 此 主机 不 提供 任何 服务 ， 那么 ， 可 以 禁止 其 他 的 机 器 向 你 的 机 器 发 送 任 何 连接 请 求 ， 命 令 如 下 : 


























iptables -A INPUT -m state --state NEW -j DROP 








这 个 规则 是 将 所 有 发 送 到 你 机 器 上 的 数据 包 (状态 是 NEW 的 包 ) 丢弃 ， 也 就 是 不 允许 其 他 的 机 器 主动 发 起 对 你 的 机 器 的 连接 ， 但 是 你 却 可 以 主动 连接 其 他 的 机 器 ， 不 过 仅仅 是 连接 而 已 ， 连 接 之 后 的 数 
据 是 ESTABLISHED 状 态 的 。 这 时 ， 再 加 上 下 面 这 一 条 语句 ， 这 一 条 语句 的 作用 是 允许 所 有 已 经 建立 连接 ， 或 者 与 之 相关 的 数据 通过 : 














iptables -A INPUT -m state --state ESTABLISHED,RELATED -]j ACCEPT 








现在 根据 上 面 的 语句 写 一 个 简单 的 iptables 脚 本 作为 个 人 桌面 主机 的 防火 墙 ， 如 下 : 








#/bin/bash 

iptables -F 

iptables -F -t nat 

iptables -Xx 

iptables -2 

iptables -P INPUT DROP 

iptables -A INPUT -m state --state NEW -j DROP 

iptables -A INPUT -m state -~-state ESTABLISHED,RELATED -j] ACCEPT 





给 此 脚本 x 权限 ， 命 令 如 下 所 示 : 





chmod +x iptables.sh 








前 面 几 条 语句 是 将 其 默认 规则 全 部 清除 ， 让 此 脚本 后 面 的 语句 生效 。 





其 实 第 二 条 可 以 被 注释 掉 ， 那 条 一 规则 完全 可 以 省 去 ， 让 默认 规则 处 理 就 可 以 了 。 




















对 于 个 人 桌面 应 用 来 说 ， 只 需要 用 刚才 介绍 的 那 两 条 语句 ， 就 能 让 你 接 入 Internet 网 的 主机 足够 安全 ， 而 且 可 以 随意 访问 Internet， 但 是 外 部 却 不 能 主动 发 起 对 你 的 机 器 的 连接 。 

















可 以 看 到 有 状态 的 防火 墙 要 比 静 态 防 火 墙 “ 智 能 ”一 些 ， 而 且 规 则 也 更 容易 设置 一 些 。 


执行 以 上 脚本 后 查看 iptables 规 则 ， 命 令 如 下 : 





iptables -nv -L 





命令 显示 结果 如 下 : 





Chain INPUT (policy DROP 0 packets、 0 bytes) 
pkts bytes target prot opt in out source destination 


0 DROP 站 一 0.0.0.0/0 0.0.0.0/0 state NEW 
37 2520 ACCEPT 下 1， 一 一 者 当 0.0.0.0/0 0.0.0.0/0 state RELATED、 ESTABLISHED 
Chain FORWARD (policy ACCEPT 0 packets、 0 bytes) 
pkts bytes target prot opt in out source destination 
Chain OUTPUT (policy ACCEPT 1532 packets、 1224K bytes) 
pkts bytes target prot opt in out source destination 





另外 ， 在 执行 以 上 脚本 后 ， 理 论 上 此 机 器 会 拒绝 一 切 的 数据 接 入 ， 但 是 我 们 发 现 原先 的 SSH 并 没有 被 断 开 ， 这 是 为 什么 呢 ? 因为 脚本 里 的 这 名 代码 发 挥 了 作用 ， 如 下 所 示 : 














iptables -A INPUT -m state --state ESTABLISHED, RELATED -]j ACCEPT 








这 里 由 于 我 们 原先 建立 的 连接 还 存在 ， 而 此 时 iptables 为 开启 状态 ， 所 以 主机 不 会 将 此 ESTABLISHED 连 接 断 掉 ，state 的 优势 在 这 里 发 挥 得 淋漓 尽 致 。 








总 上 记 林 在 实验 环境 下 安 谍 即 可 ， 切 匆 直 接应 用 于 生产 服务 器 ， 因 为 会 默认 拒绝 一 切 连接 。 


7.5 ”iptables 的 基础 知识 


7.5.1 iptables 的 状态 state 


在 7.2 节 中 提 到 了 state 这 个 定义 ， 这 里 将 对 iptables 防 火 墙 的 状态 (state) 进行 说 明 。 




















比如 ， 当 我 们 用 PieTTY 远 程 工具 访问 远程 主机 的 SSH 端 口 时 ， 主 机 会 和 远程 主机 进行 通信 。 此 时 ， 静 态 的 防火 墙 会 这 样 处 理 : 检查 进入 机 器 的 数据 包 ， 发 现 数据 的 来 源 是 22 端 口 ， 当 这 些 数据 包 人 允许 时 
进入 主机 本 身 ， 连 接 之 后 相互 通信 的 数据 也 一 样 ， 检 查 每 个 数据 ， 如 果 发 现 数据 包 来 源 于 22 端 口 ， 允 许 通 过 。 



































如 果 用 有 状态 的 防火 墙 该 如 何 处 理 呢 ? 









































在 连接 远程 主机 成 功 之 后 ， 主 机 会 把 这 个 连接 记录 下 来 ， 当 有 数据 从 远程 SSH 服 务 器 进入 你 的 机 器 时 ， 它 会 检查 自己 的 连接 状态 表 ， 如 果 发 现 这 个 数据 来 源 于 一 个 已 经 建立 的 连接 ， 则 允许 这 个 数据 包 























以 上 两 种 处 理 方法 中 ， 明 显 静态 防火 墙 比较 生硬 ， 而 iptables 防 火 墙 相对 智能 一 些 ， 这 也 是 iptables 防 火 墙 的 特点 之 一 。 
下 面 将 解释 以 下 几 种 state 状 态 。 
* NEW: 如 果 你 的 主机 向 远程 机 器 发 出 一 个 连接 请 求 ， 这 个 数据 包 的 状态 是 NEW。 


“ ESTABLISHED: 在 连接 建立 之 后 (完成 TCP 的 三 次 握手 后 ) ， 远 程 主机 和 你 的 主机 通信 数据 的 状态 为 ESTABLISHED。 


“ RELATED: 和 现 有 联机 相关 的 新 联机 封包 。 像 FTP 这 样 的 服务 ， 用 21 端 口传 送 命令 ， 而 用 20 端 口 (port 模 式 ) 或 其 他 端口 (PASV 模 式 ) 传送 数据 。 在 已 有 的 21 端 口上 建立 好 连接 后 发 送 命令 ， 用 20 或 


其 他 端口 传送 的 数据 (FTP-DATA) ， 其 状态 是 RELATED。 


:INVALID: 无 效 的 数据 包 ， 不 能 被 识别 属于 哪个 连接 或 没有 任何 状态 ， 通 常 这 种 状态 的 数据 包 会 被 丢弃 。 


了 解 以 上 知识 后 ， 就 可 以 进行 一 个 简单 的 实验 了 。 





首先 ， 还 是 来 设置 默认 规则 ， 如 下 所 示 。 





iptables -P INPUT DROP 

















这 样 你 的 机 器 会 将 进入 你 主机 的 所 有 数据 全 部 丢弃 ， 建 议 大 家 写 iptables 脚 本 时 就 先 默认 禁止 一 切 连接 ， 然 后 再 根据 应 用 或 需求 开放 相应 的 端口 
































如 果 有 一 台 主 机 只 是 用 于 个 人 桌面 应 用 的 ， 也 就 是 说 此 主机 不 提供 任何 服务 ， 那 么 ， 可 以 禁止 其 他 的 机 器 向 你 的 机 器 发 送 任何 连接 请 求 ， 命 令 如 下 : 




















iptables -A INPUT -m state --state NEW -j DROP 








这 个 规则 是 将 所 有 发 送 到 你 机 器 上 的 数据 包 (状态 是 NEW 的 包 ) 丢弃 ， 也 就 是 不 允许 其 他 的 机 器 主动 发 起 对 你 的 机 器 的 连接 ， 但 是 你 却 可 以 主动 连接 其 他 的 机 器 ， 不 过 仅仅 是 连接 而 已 ， 连 接 之 后 的 数 


届 是 ESTABLISHED 状 态 的 。 这 时 ， 再 加 上 下 面 这 一 条 语句 ， 这 一 条 语句 的 作用 是 允许 所 有 已 经 建立 连接 ， 或 者 与 之 相关 的 数据 通过 : 








iptables -A INPUT -m state --state ESTABLISHED,RELATED -]j ACCEPT 





现在 根据 上 面 的 语句 写 一 个 简单 的 iptables 脚 本 作为 个 人 桌面 主机 的 防火 墙 ， 如下: 











#/bin/bash 

iptables -F 

iptables -F - nat 

iptables -Xx 

iptables -2Z 

iptables -P INPUT DROP 

iptables -A INPUT -m state --state NEW -j DROP 

iptables -A INPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 


给 此 脚本 x 权限 ， 命 令 如 下 所 示 : 








chmod +x iptables.sh 








前 面 几 条 语句 是 将 其 默认 规则 全 部 清除 ， 让 此 脚本 后 面 的 语句 生效 。 





其 实 第 二 条 可 以 被 注释 掉 ， 那 条 一 规则 完全 可 以 省 去 ， 让 默认 规则 处 理 就 可 以 了 。 














对 于 个 人 桌面 应 用 来 说 ， 只 需要 用 刚才 介绍 的 那 两 条 语句 ， 就 能 让 你 接 入 Internet 网 的 主机 足够 安全 ， 而 且 可 以 随意 访问 Internet， 但 是 外 部 却 不 能 主动 发 起 对 你 的 机 器 的 连接 。 














可 以 看 到 有 状态 的 防火 墙 要 比 静 态 防 火 墙 “ 智 能” 一些 ， 而 且 规 则 也 更 容易 设置 一 些 。 








执行 以 上 脚本 后 查看 iptables 规 则 ， 命 令 如 下 : 





iptables -nv -L 


命令 显示 结果 如 下 : 








Chain INPUT (policy DROP 0 packets、 0 bytes) 


pkts es target prot opt in out source destination 
0 DROP 让， 0.0.0.0/0 0.0.0.0/0 state NEW 
3 2520 ACCEPT LL = 当 0.0.0.0/0 0.0.0.0/0 state RELATED, ESTABLISHED 
Chain FORWARD (policy ACCEPT 0 eke bytes) 
pkts bytes target prot opt in source destination 
Chain OUTPUT (policy ACCEPT 1532 ee 1224K bytes) 
pkts bytes target prot opt in out source destination 








另外 ， 在 执行 以 上 脚本 后 ， 理 论 上 此 机 器 会 拒绝 一 切 的 数据 接 入 ， 但 是 我 们 发 现 原先 的 SSH 并 没有 被 断 开 ， 这 是 为 什么 呢 ? 因为 脚本 里 的 这 句 代码 发 挥 了 作用 ， 如 下 所 示 : 














iptables -A INPUT -m state --state ESTABLISHED, RELATED -j ACCEPT 





这 里 由 于 我 们 原先 建立 的 连接 还 存在 ， 而 此 时 iptables 为 开启 状态 。， 所 以 主机 不 会 将 此 ESTABLISHED 连 接 断 掉 ，state 的 优势 在 这 里 发 挥 得 淋漓 尽 致 。 





六 上 让 本 在 实验 环境 下 尝 尝试 即 可 ， 切 勿 直接 应 用 于 生产 服务 器 ， 因 为 会 默认 拒绝 一 切 连接 。 


7.5.2 ”iptables 的 Conntrack 记 录 


先 来 看 看 怎样 阅读 /proc/net/nf_conntrack 里 的 conntrack 记 录 。 这 些 记 录 表 示 的 是 当前 被 跟踪 的 连接 。 如 果 安 装 了 nf_conntrack 模 块 ， 可 以 查看 nf_conntrack 记 录 ， 命令 如 下 : 


cat /proc/net/nf_ conntrack 








命令 显示 结果 如 下 : 

ipv4 2 tep 6 431999 ESTABLISHED src=192.168.1.204 dst=192.168.1.11 sport=22 dport=50233 src=192.168.1.11 dst=192.168.1.204 sport=50233 dport=22 [ASSURED] mark=0 secmar 
ipv4 2 tcp 6 431993 ESTABLISHED src=192.168.1.211 dst=192.168.1.204 sport=41039 dport=80 src=192.168.1.204 dst=192.168.1.211 sport=80 dport=41039 [ASSURED] mark=0 secr 
ipv4 2 udp 17 26 src=0.0.0.0 dst=255.255.255.255 sport=68 dport=67 [UNREPLIED] src=255.255.255.255 dst=0.0.0.0 sport=67 dport=68 mark=0 secmark=0 use=2 














Conntrack 模 块 维护 的 所 有 信息 都 包含 在 这 个 例子 中 了 ， 通 过 它们 就 可 以 知道 某 个 特定 的 连接 处 于 什么 状态 。 首 先 显示 的 是 协议 ， 这 里 是 tcp， 接 着 是 十 进 制 的 6 (tcp 的 协议 类 型 代码 是 6) 。 之 后 的 





117 是 这 条 conntrack 记 录 的 生存 时 间 ， 它 会 有 规律 地 被 消耗 ， 直 到 收 到 这 个 连接 更 多 的 包 。 到 那个 时 候 ， 该 值 就 会 被 设 为 当时 那个 状态 的 默认 值 。 接 下 来 的 是 这 个 连接 在 当前 时 间 点 的 状态 。 上 面 的 例子 说 





























明了 这 个 包 处 于 状态 SYN_SENT 下 ， 这 个 值 是 iptables 显 示 的 ， 便 于 我 们 理解 ， 而 内 部 用 的 值 稍 有 不 同 。SYN_SENT 说 明 我 们 正在 观察 的 这 个 连接 只 在 一 个 方向 发 送 了 一 个 TCP SYN 包 。 再 下 面 是 源 地 址 、 











目的 地 址 、 源 端口 和 目的 端口 。 


























其 中 有 个 特殊 的 词 UNREPLIED， 说 明 这 个 连接 还 没有 收 到 任何 回应 。 最 后 ， 是 希望 接收 的 应 答 包 的 信息 ， 它 们 的 地 址 和 端口 与 前 面相 反 。 
































当 一 个 连接 在 两 个 方向 上 都 有 传输 时 ，conntrack 记 录 就 会 删除 [UNREPLIED] 标 志 ， 然 后 重 置 。 在 末尾 有 [ASSURED] 的 记录 说 明 两 个 方向 已 没有 流量 。 这 样 的 记录 是 确定 的 ， 在 连接 跟踪 表 满 时 不 会 被 
删除 ， 没 有 [ASSURED] 记 录 的 就 要 被 删除 。 连 接 跟踪 表 能 容纳 多 少 记录 是 被 一 个 变量 控制 的 ， 它 可 由 内 核 中 的 ip-sysctl 函 数 设置 。 默 认 值 取 决 于 你 的 内 存 大 小 ，128MB 可 以 包含 8192 条 目录 ，256MB 可 以 








包含 16376 条 目录 ， 如 果 在 生 






































产 服务 器 上 通过 加 载 模块 的 方法 开启 了 nf_conntract 功 能 ， 就 要 注意 内 存 方面 的 使 用 情况 ， 此 模块 是 极 消 耗 内 存 的 ， 对 系统 性 能 有 很 大 影响 ， 而 且 极 容易 发 生 以 下 错误 : 






































nf_conntrack: table full, dropping packet 











于 上 述 原 因 ， 除 了 
而 ip_conntrack 只 支持 IPv4。 








具体 原因 是 线 上 的 机 器 启用 了 nf_conntract 模 块 以 后 ， 服 务 器 的 连接 数 太 大 ， 内 核 的 Connection Tracking System 没有 足够 的 空间 来 存放 连接 的 信息 ， 解 决 方法 就 是 调整 内 核 参数 来 增 大 这 个 空间 。 








特殊 情况 以 外 ， 不 建议 在 线 上 服务 器 中 开启 iptable 的 Conntrack 功 能 。 另 外 ， 老 版 的 iptables 的 conntrack 称 为 ip_conntrack， 新 版 的 名 为 nf_-conntrack。nf_conntrack 支 持 IPv4 和 IPv6， 


7.5.3 ”关于 iptables 模 块 的 说 明 














大 多 数 Linux 版 本 实现 iptables 时 会 使 用 一 系列 可 载 入 的 程序 模块 ， 几 乎 所 有 的 模块 在 第 一 次 使 用 时 都 会 自动 动态 载 入 ， 当 然 ， 我 们 在 撰写 iptables 脚 本 时 也 可 以 通过 modprobe 有 选择 地 载 入 模块 ， 示 


例如 下 : 
































modprobe ipt MASQUERADE 


modprobe nf conntrack - 


modprobe nf nat ftp 


ftp 





新 版 的 iptables 有 一 点 很 智能 ， 对 于 以 前 的 一 些 老 模 块 (比如 ip_nat_ftp 和 ip_conntrack_ftp) 也 能 载 入 ， 并 且 会 自动 更 改 模块 名 称 ， 可 以 用 如 下 命令 





























A> 
响 








看 : 

















lsmod | grep ip 





命令 结果 如 下 所 示 : 








ipt MASQUERADE 2338 0 

nf nat 22676 2 ipt MASQUERADE,nNf nat ftp 

nf conntrack ipv4 9154 2 nf nat -0 

nf defrag ipv4 1483 1 nf conntrack ipv4 

nf conntrack 79206 5 ipt MASQUERADE,nf nat ftp,nf nat,nf conntrack ipv4,nf conntrack ftp 

ipv6 335525 18 

现在 许多 朋友 喜欢 自己 开发 新 的 模块 来 实现 更 为 强大 的 功能 ， 这 个 问题 不 是 本 书 重点 ， 有 兴趣 的 朋友 可 以 自行 开发 和 测试 。 











7.5.4 ” iptables 防火墙 初始 化 的 注意 事项 








在 与 一 些 系统 管理 员 朋 友 线 下 交流 时 ， 笔 者 发 现 大 家 在 操作 iptables 防 火 墙 时 经 常 遇 到 一 个 问题 : 有 时 误 操作 iptables 而 将 自己 也 拦截 在 机 器 之 外 ， 如 果 没 有 KVM 切 换 器 的 话 就 只 有 去 机 房 重启 机 器 或 
者 授权 IDC 机 房 人 员 进行 重 启 机 器 的 操作 。 其 实 这 个 问题 是 有 办 法 解决 的 ， 特 别 推荐 给 大 家 。 





























可 以 先 配 置 一 个 crontab 计 划 任 务 ， 每 5 分 钟 运行 一 次 ， 脚 本 内 容 如 下 : 





*/5 * * * * /etc/init.d/iptables stop 











这 样 即使 你 的 脚本 存在 错误 设置 (或 丢失 ) 的 规则 ， 也 不 至 于 将 你 锁 在 计算 机 外 而 无 法 返回 与 计算 机 的 连接 ， 可 让 你 放心 大 胆 地 调试 脚本 。 鉴 于 许多 读者 在 学 习 及 调试 iptables 脚 本 时 使 用 的 也 是 托管 
1DC 机 房 ， 所 以 推荐 用 此 方法 。 








7.5.5 “如何 保存 运行 中 的 iptables 规 则 















































使 用 iptables-save 和 iptables-restore 的 一 个 最 重要 的 原因 是 ， 它 们 能 在 相当 程度 上 提高 装载 并 保存 规则 的 速度 。 使 用 脚本 更 改 规则 的 一 个 问题 是 ， 改 动 每 个 规则 都 要 调用 命令 iptables， 而 每 一 次 调用 






































iptables， 都 要 先 把 Netfilter 内 核 空 间 中 的 整个 规则 集 提 取出 来 ， 然 后 再 插入 或 附加 ， 或 做 其 他 的 改动 ， 最 后 ， 再 把 新 的 规则 集 从 它 的 内 存 空间 插入 到 内 核 空间 中 ， 这 会 花费 很 多 时 间 。 









































为 了 解决 这 个 问题 ， 可 以 使 用 命令 iptables-save 和 iptables-restore。iptables-save 用 于 把 规则 集 保存 到 一 个 特殊 格式 的 文本 文件 里 ， 而 iptables-restore 用 于 把 这 个 文件 重新 装 入 内 核 空间 。 这 两 个 命 






































令 最 好 的 地 方 在 于 只 需要 调 














一 次 就 可 以 装载 和 保存 规则 集 ， 而 不 像 在 脚本 中 每 个 规则 改动 都 要 调用 一 次 iptables。iptables-save 运 行 一 次 就 可 以 把 整个 规则 集 从 内 核 里 提取 出 来 ， 并 保存 到 文件 里 ， 而 























iptables-restore 每 次 只 会 装 入 一 个 规则 表 。 换 句 话说 ， 对 于 一 个 很 大 的 规则 集 ， 如 果 用 脚本 来 设置 ， 那 这 些 规则 就 会 被 反 反复 复 地 仓 载 、 安 装 ， 而 我 们 现在 可 以 把 整个 规则 集 一 次 性 保存 下 来 ， 安 装 时 一 次 
一 个 规则 表 表 ， 这 节约 了 大 量 的 时 间 。 如 果 你 的 工作 对 象 是 一 组 巨大 的 规则 ， 采 用 这 两 个 工具 将 是 明智 的 选择 。 





























系统 启动 iptables 的 规则 后 ， 默 认 就 有 如 下 规则 (虽然 比较 人 性 化 ， 但 很 多 时 候 达 不 到 我 们 的 要 求 ， 所 以 这 里 大 家 了 解 一 下 就 好 ， 不 需要 做 深入 研究 ， 可 以 使 用 cat 命 令 来 查看 ) : 


cat/etc/sysconfig/iptables 


命令 结果 如 下 所 示 : 





























# Firewall configuration written by system-config-securitylevel 


# Manual customization 
*filter 

:INPUT ACCEPT [0:0] 
:FORWARD ACCEPT [0:0] 
:OUTPUT ACCEPT [0:0] 
:RH-Firewall-1-INPUT — 


of this file is not recommended. 


[0:0] 


-A INPUT -]j RH-Firewall-1-INPUT 
-A FORWARD -j] RH-Firewall-1-INPUT 


-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
-A RH-Firewall-1-INPUT 
COMMIT 


-i lo -j ACCEPT 

-P icmp --icmp-type any -j ACCEPT 

-p 50 -j ACCEPT 

-p 51 -j ACCEPT 

-p udp --dport 5353 -d 224.0.0.251 -j ACCEPT 

-p udp -m udp --dport 631 -]j ACCEPT 

-p tcp -m tcp ~-dport 631 ~] ACCRPT 

-m state --state ESTABLISHED RELATED -]j ACCEPT 

-m state ~-state NEW -~m tcp -P tcp --dport 22 -j ACCEPT 
-j REJECT --reject-with icmp-host-prohibited 
































7.6 ”如 何 流程 化 编写 iptables 脚 本 


大 家 可 以 参考 下 面 的 标准 流程 来 编写 自己 的 iptables 脚 本 ， 如 下 所 示 : 


1. 根 据 需求 调整 系统 内 核 


例如 TCP 的 SYN 缓 冲 〈cookies) 是 一 种 快速 检测 和 防御 SYN 洪 水 攻击 的 机 制 ， 如 下 的 命令 可 以 启用 SYN 缓 冲 : 


目前 编写 和 调试 iptables 防 火 墙 的 通用 做 法 还 是 通过 脚本 来 进行 ， 这 相对 而 言 更 为 方便 ， 调 试 的 效率 也 更 高 ， 特 别 是 按照 标准 流程 编写 iptables 脚 本 以 后 。 当 然 ， 这 两 种 方法 各 有 各 的 优点 ， 我 们 可 以 根 
时 自己 的 环境 来 选择 到 底 采 用 哪 种 方法 保存 iptables 脚 本 ， 个 人 还 是 倾向 于 自己 手动 编写 iptables 脚 本 。 





echo "1" > /proc/sys/net/ipv4/tcp_syncookies 





另外 ， 如 果 以 iptables 作 : 

















为 NAT 路 由 器 ， 对 于 存在 着 多 网 卡 的 情况 ， 要 开启 ip 转 发 功能 ， 用 于 多 网 卡 之 间 数 据 的 流通 ， 命 令 如 下 : 








echo "1" > /proc/sys/net/ipv4/ip _ forward 




















2. 加 载 iptables 模 块 


其 他 适用 于 iptables 防 火 墙 的 内 核 调 整 可 以 根据 需求 自行 设 定 。 


由 于 这 里 不 是 以 服务 的 方式 ， 而 是 采用 service 方 式 启动 iptables 的 ， 所 以 需要 手动 加 载 iptables 模 块 ， 例 如 : 








modprobe ip tables 
modprobe iptable nat 
modprobe ip nat ftp 
modprobe ip nat irc 
modprobe nf conntrack 


modprobe ip conntrack ftp 
modprobe ipt MASQUERADE 














接 下 来 可 以 使 用 lsmod 查 看 加 载 的 模块 ， 命 令 如 下 : 














lsmod | grep "ip" 




















此 命令 显示 结果 如 下 : 

ipt MASQUERADE 2466 0 

iptable nat 6158 0 

nf nat 22759 4 ipt MASQUERADE,nf nat irc,nf nat ftp,iptable nat 

nf_conntrack ipv4 9506 3 iptable nat,nf nat 

nf_conntrack 79357 8 ipt MASQUERADE,nf nat irc,nf conntrack irc,nf nat ftp,nf conntrack ftp,iptable nat,nf nat,nf conntrack ipv4 
nf_ defrag ipv4 1483 1 nf conntrack ipv4 

ip tables 17831 1 iptable nat 

新 版 的 iptables 会 自动 用 新 模块 名 称 来 代替 旧 模 块 名 称 。 





3. 清 空 所 有 的 表 链 规 则 (包括 自 定义 的 ) 


命令 如 下 : 








iptables -F 

iptables -Xx 

iptables -2Z 

iptables -F -~t nat 
iptables -X -t nat 
iptables -2 -t nat 
iptables -X -t mangle 





4. 定 义 默认 策略 


一 般 来 说， 为 了 搭建 安全 的 防火 墙 ， 默 认 是 拒绝 一 切 流量 连接 的 ， 所 以 三 表 五 链 默认 规则 都 应 该 是 DROP， 但 对 于 实际 线 上 的 iptables 脚 本 ， 建 议 按 如 下 方式 配置 (具体 对 INPUT 链 进行 操作 ， 


一 般 认 为 从 服务 器 OUPPUT 出 去 的 数据 和 NAT 出 去 的 数据 是 安全 的 ) : 





因为 我 们 








iptables -P INPUT DROP 

iptables -P FORWARD ACCEPT 

iptables -P OUTPUT ACCEPT 

iptables -t nat -P PREROUTING ACCEPT 
iptables -t nat -P POSTROUTING ACCEPT 
iptables -t nat -P OUTPUT ACCEPT 








5. 打 开 “ 回 环 ” 口 以 避免 不 必要 的 麻烦 














这 样 做 是 为 了 避免 不 必 


的 麻烦 ， 命 令 如 下 。 





iptables -A INPUT -i lo -j ACCEPT 


iptables -A OUTPUT -o 


10 -j ACCEPT 





6. 允 许 状态 为 ESTABLISHED 的 数据 包 进 入 机 器 


命令 如 下 : 





iptables -A INPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 





7. 根 据 需 求 建立 防火 墙 规则 


比如 上 一 章节 介绍 的 完整 的 桌面 主机 防火 墙 脚本 如 下 : 





#/bin/bash 

modprobe ip tables 
modprobe iptable nat 
modprobe nf conntrack 


iptables -F 

iptables -Xx 

iptables -2Z 

iptables -F -t nat 
iptables -X -t nat 
iptables -2 -t nat 
iptables -X -t mangle 


iptables -P INPUT DROP 

iptables -P FORWARD ACCEPT 

iptables -P OUTPUT ACCEPT 

iptables -t nat -P PREROUTING ACCEPT 
iptables -t nat -P POSTROUTING ACCEPT 
iptables -t nat -P OUTPUT ACCEPT 


iptables -A INPUT -i 10 -j ACCEPT 
iptables -A OUTPUT -o lo -j ACCEPT 


iptables -A INPUT -m state --state NEW -j DROP 
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT 








此 脚本 执行 后 ， 本 来 正常 提供 的 samba 服 务 马 上 断 开 了 ， 客 户 端 连接 此 机 的 samba 报 错 ， 可 以 查看 iptables 的 conntrack 记 录 ， 命 令 如 下 : 





cat /proc/net/pf_ conntrack 








此 命令 显示 结果 如 下 : 
udp 17 15 src=192.168.1.101 dst=192.168.1.255 sport=137 dport=137 packets=20 bytes=1920 [UNREPLIED] src=192.168.1.255 dst=192.168.1.101 sport=137 dport=137 packets=0 bytes 


udp 17 12 src=192.168.1.101 dst=192.168.1.255 sport=138 dport=138 Packets=1 bytes=269 [UNREPLIED] src=192.168.1.255 dst=192.168.1.101 sport=138 dport=138 packets=0 bytes=( 








Samba 建 立 连 接 的 135-139 及 445 端 口 只 有 一 边 有 流量 ，TCP 的 三 次 握手 被 拒 ， 这 个 肯定 是 提供 不 了 Samba 服 务 的 ， 证 明 此 脚本 是 有 效 的 。 


8. 给 脚本 x 权限 以 便 执行 








给 脚本 x 权限 后 就 可 以 直接 执行 此 脚本 了 。 




















大 家 编写 iptable 脚 本 时 可 以 参考 上 述 步骤 逐步 进行 ， 这 样 不 容易 出 错 ， 以 后 熟练 了 就 “习惯 成 自然 ”了 。 











7.7 ”学 习 iptables 应 该 掌握 的 工具 


7.7.1 命令 行 的 抓 包 工具 TCPDump 


























TCPDump 是 入 侵 分 析 人 员工 具 包 中 的 一 个 重要 工具 。 在 底层 上 ，TCPDump 是 一 个 捕获 和 分 析 数 据 包 的 软件 ， 也 就 是 说 TCPDump 可 以 用 来 监听 网 络 通信 ， 但 是 实际 能 够 监听 到 什么 样 的 数据 流 取决 于 
所 在 网 络 的 拓扑 结构 。 它 是 一 款 基于 命令 行 的 工具 ， 可 以 通过 不 同 的 命令 行 选项 来 改变 状态 ， 它 也 提供 丰富 的 选项 使 我 们 可 以 很 容易 地 改变 程序 的 运行 方式 。 在 使 用 TCPDump 的 过 程 中 ， 我 们 会 发 现 大 部 
分 捕获 数据 的 动作 只 需要 用 到 一 些 常用 的 选项 ， 而 不 需要 用 到 其 他 全 部 的 选项 。 另 外 ，TCPDump 存 在 于 绝 大 多 数 的 Linux 系 统 中 ， 这 是 不 需要 安装 就 可 使 用 的 。 下 面 举 例 说 明 它 的 使 用 方法 。 










































































1) 想 要 截获 210.27.48.1 主 机 收 到 和 发 出 的 所 有 数据 包 ， 命 令 如 下 : 





tcpdump host 210.27.48.1 





2) 想 要 截获 主机 210.27.48.1 和 主机 210.27.48.2 或 210.27.48.3 的 通信 ， 使 用 如 下 命令 (在 命令 行 中 使 用 括号 时 ， 要 用 转 义 符 \ 对 () 进行 转 义 ) : 








tcpdump host 210.27.48.1 and \(210.27.48.2 or 210.27.48.3 \) 











3) 如 果 想 要 获取 主机 210.27.48.1 和 所 有 主机 (除了 210.27.48.2) 通信 的 ip 包 ， 使 用 如 下 命令 : 




















tcpdump ip host 210.27.48.1 and !210.27.48.2 














4) 如 果 想 要 获取 主机 210.27.48.1 接 收 或 发 出 的 smtp 包 ， 使 用 如 下 命令 : 














tcpdump tcp port 25 and host 210.27.48.1 














5) 如 果 怀 疑 系统 正 受到 拒绝 服务 (Dos) 攻击 ， 网 络 管理 员 可 以 通过 截获 发 往 本 机 的 所 有 ICMP 包 ， 来 确定 目前 是 否 有 大 量 的 ping 指 令 流 向 服务 器 ， 此 时 可 用 如 下 命令 : 








tcpmdump icmp -n -i eth0 














6) 如 果 想 将 其 结果 生成 详细 的 报告 ， 可 以 用 如 下 命令 : 











tcpdump tcp port 25 and host 211.147.1.11 > awstat.txt 























TCPDump 捕 获 的 TCP 包 的 一 般 输 出 信息 是 : 





src> dst: flags data-seqno ack window urgent options 


这 里 说 明 一 下 TCPDump 抓 取 TCP 包 的 情况 。 














src> dst: 表 了 明 从 源 地 址 到 目的 地 址 ，flags 是 TCP 包 中 的 标志 信息 ，S 代 表 SYN 标 志 ，F 代 表 FIN，P 代 表 PUSH，R 代 表 RST，"…" 表 示 没 有 标记 。data-seqno 是 数据 包 中 数据 的 顺序 号 ，ack 是 下 次 期 望 的 顺 
序号 ，window 是 接收 缓存 的 窗口 大 小 ，urgent 表 明 数 据 包 中 是 否 有 紧急 指针 ，options 是 选项 。 











由 于 所 涉及 的 服务 器 协议 大 部 分 是 TCP 协 议 ， 因 此 这 里 只 介绍 了 TCP 包 的 输出 信息 。 至 于 UDP 和 ICMP 协 议 信息 ， 可 以 根据 上 面 介绍 的 TCPDump 语 法 自行 研究 。 











7.7 ”学 习 iptables 应 该 掌握 的 工具 


7.7.1 命令 行 的 抓 包 工具 TCPDump 






































TCPDump 是 入 侵 分 析 人 员工 具 包 中 的 一 个 重要 工具 。 在 底层 上 ，TCPDump 是 一 个 捕获 和 分 析 数 据 包 的 软件 ， 也 就 是 说 TCPDump 可 以 用 来 监听 网 络 通信 ， 但 是 实际 能 够 监听 到 什么 样 的 数据 流 取决 于 
所 在 网 络 的 拓扑 结构 。 它 是 一 款 基于 命令 行 的 工具 ， 可 以 通过 不 同 的 命令 行 选项 来 改变 状态 ， 它 也 提供 丰富 的 选项 使 我 们 可 以 很 容易 地 改变 程序 的 运行 方式 。 在 使 用 TCPDump 的 过 程 中 ， 我 们 会 发 现 大 部 
分 捕获 数据 的 动作 只 需要 用 到 一 些 常用 的 选项 ， 而 不 需要 用 到 其 他 全 部 的 选项 。 另 外 ，TCPDump 存 在 于 绝 大 多 数 的 Linux 系 统 中 ， 这 是 不 需要 安装 就 可 使 用 的 。 下 面 举例 说 明 它 的 使 用 方法 。 



















































































1) 想 要 截获 210.27.48.1 主 机 收 到 和 发 出 的 所 有 数据 包 ， 命 令 如 下 : 





tcpdump host 210.27.48.1 





2) 想 要 截获 主机 210.27.48.1 和 主机 210.27.48.2 或 210.27.48.3 的 通信 ， 使 用 如 下 命令 (在 命令 行 中 使 用 括号 时 ， 要 用 转 义 符 \ 对 () 进行 转 义 ) : 


tcpdump host 210.27.48.1 and \(210.27.48.2 or 210.27.48.3 \) 











3) 如 果 想 要 获取 主机 210.27.48.1 和 所 有 主机 (除了 210.27.48.2) 通信 的 ip 包 ， 使 用 如 下 命令 : 

















tcpdump ip host 210.27.48.1 and !210.27.48.2 

















4) 如 果 想 要 获取 主机 210.27.48.1 接 收 或 发 出 的 smtp 包 ， 使 用 如 下 命令 : 











tcpdump tcp port 25 and host 210.27.48.1 








5) 如 果 怀 疑 系统 正 受到 拒绝 服务 (Dos) 攻击 ， 网 络 管理 员 可 以 通过 截获 发 往 本 机 的 所 有 ICMP 包 ， 来 确定 目前 是 否 有 大 量 的 ping 指 令 流 向 服务 器 ， 此 时 可 用 如 下 命令 : 








tcpmdump icmp -n -i eth0 

















6) 如 果 想 将 其 结果 生成 详细 的 报告 ， 可 以 用 如 下 命令 : 














tcpdump tcp port 25 and host 211.147.1.11 > awstat.txt 

















TCPDump 捕 获 的 TCP 包 的 一 般 输出 信息 是 : 


src> dst: flags data-seqno ack window urgent options 





这 里 说 明 一 下 CPDump 抓 取 TCP 包 的 情况 。 











src> dst: 表 明 从 源 地 址 到 目的 地 址 ，flags 是 TCP 包 中 的 标志 信息 ，S 代 表 SYN 标 志 ，F 代 表 FIN，P 代 表 PUSH，R 代 表 RST,"." 表 示 没 有 标记 。data-seqno 是 数据 包 中 数据 的 顺序 号 ，ack 是 下 次 期 望 的 顺 
序号 ，window 是 接收 缓存 的 窗口 大 小 ，urgent 表 明 数 据 包 中 是 否 有 紧急 指针 ，options 是 选项 。 











由 于 所 涉及 的 服务 器 协议 大 部 分 是 TCP 协 议 ， 因 此 这 里 只 介绍 了 TCP 包 的 输出 信息 。 至 于 UDP 和 ICMP 协 议 信息 ， 可 以 根据 上 面 介绍 的 TCPDump 语 法 自行 研究 。 











7.7.2 ”图 形 化 抓 包 工具 Wireshark 















































Wireshark 是 世界 上 最 流行 的 网 络 分 析 工 具 。 这 个 强大 的 工具 可 以 捕捉 网 络 中 的 数据 ， 并 为 用 户 提供 关于 网 络 和 上 层 协 议 的 各 种 信息 。 与 很 多 其 他 网 络 工具 一 样 ，Wireshark 也 是 使 用 pcap network 
library 来 进行 封包 捕捉 的 ，wireshark 的 前 身 是 Ethereal， 网 络 管理 员 使 用 Wireshark 检 测 网 络 问题 ， 网 络 安全 工程 师 使 用 Wireshark 检 查 资讯 安全 相关 问题 ， 开 发 者 使 用 Wireshark 为 新 的 通信 协定 除 错 ， 普 
通 使 用 者 使 用 Wireshark 学 习 网 络 协定 的 相关 知识 。Wireshark 不 是 入 侵 侦 测 软件 (Intrusion DetectionSoftware，IDS) ， 对 于 网 络 上 的 异常 流量 行为 ， 它 不 会 产生 警示 或 任何 提示 。 然 而 ， 仔 细 分 析 
Wireshark 搬 取 的 封包 能 够 帮助 使 用 者 对 于 网 络 行为 有 更 清楚 的 了 解 。Wireshark 不 会 对 网 络 封包 内 容 进行 修改 ， 它 只 会 反映 出 目前 流通 的 封包 资讯 。Wireshark 本 身 也 不 会 把 封包 送 到 网 络 上 。 



































































































































Wireshark 在 CentOS 6.8 x86_64 下 的 安装 极为 方便 ， 首 先 ， 准 备 一 台 安 装 了 图 形 化 界面 的 机 器 (因为 Wireshark 是 基于 图 形 化 的 工具 ) ， 然 后 执行 如 下 命令 : 
































yum -y install wireshark* 























之 后 在 命令 下 面 用 Xshell 5 登录 ， 直 接 输入 命令 wireshark 即 可 。 























下 面 以 一 个 简单 的 例子 来 说 明 一 下 ， 假 设 客户 端 是 192.168.1.100， 用 Xshell 5 了 192.168.1.101 的 Server 上 面 ， 端 口 为 22， 那 么 ， 如 何 用 wireshark 来 进行 抓 包工 作 呢 ? 步骤 如 下 。 
































1) 在 Server 上 面 执行 wireshark， 打 开 此 工具 ， 新 版 的 wireshark 图 形 界面 如 图 7-5 所 示 。 














The Wireshark Network Analyzer [Wireshark 1.8.10 (SVN Rev Unknown from unknown)] 
File Edit View Go Capture Analyze Statistics Telephony Tools Internals Help 


转 其 村 重负 | 虽 上 x2c| 上 的 和 玖 二 | 国 国 入 和 急 及 加 | 硬 国 图 回 
Filter: Expression... Clear Apply Save 


The World's Most Popular Network Protocol Analyzer 
Version MA) 





| Cabture Files online | 


Interface List [= Open Website 


蔷 Live list of the capture Interfaces Open a previously captured file Visit the project's website 


(counts incoming packets) 
Open Recent: Users Guide 
[| Start a The User's Gulde (online version) 
Choose one or more Interfaces to capture from, then Start Sample Captu res 
A rich assortment of example capture files on the wiki Y Security 


2 eth0 
Work with Wireshark as securely as 


@ Bluetooth adapter number 0: bluetoothO 
既 JLinux netfilter log (NFLOG) interface: nflog 
| Linux netfilter queue (NFQUEUE) interface: nfqueue 


泌 Capture Options 


Start a capture with detailed options 





7-5 ”wireshatk 工 作 工 作 界面 




















2) 选择 wireshark 菜 单 中 “Capture” 的 “interface” 选 项 ， 选 中 “eth0” 设 备 以 后 ， 再 选中 “start” 菜 单 ， 如 下 图 7-6 所 示 : 








Wireshark: Capture Interfaces 

Device Description IP Packets Packets/s 

四 etho 192.168.174.130 1 

口 四 bluetooth0 Bluetooth adapter number 0 none 60 
口 外 nflog Linux netfilter log (NFLOG) interface none 
口 fnfqueue Linux netfilter queue (NFQUEUE) interface none 


口 甸 usbmonl USB bus number 1 none 
口 甸 usbmon2 USB bus number 2 none 
口 四 any Pseudo-device that captures on all interfaces none 
口 四 Io 127.0.0.1 


加 | 回回 后 名 与 后 








7-6 wireshatk 选 择 interfaces 图 示 














3) 然后 我 们 选择 菜单 “Capture”， 随 后 选择 “Options” 菜 单 以 及 “HTTP TCP port (80) ”如 图 7-7 所 示 。 























4) 然后 我 们 从 客户 端 机 器 进行 访问 本 机 的 Apache 服 务 ， 此 时 ， 观 察 抓 包 结果 ， 如 图 7-8 所 示 。 


























大 家 自行 分 析 抓 包 结果 ， 在 实际 工作 中 可 以 根据 当前 服务 器 的 实际 状态 来 选择 采用 何 种 抓 包 工具 。Wireshark 是 有 图 形 化 界面 的 ，TCPDump 则 是 没有 图 形 化 界面 的 ， 建 议 将 以 上 两 种 工具 都 掌握 ， 









































因为 





它们 的 语法 规则 基本 是 类 似 的 。 有 兴趣 的 朋友 可 以 直接 在 规则 里 输入 icmp (这 是 用 来 运行 ping 的 协议 ) ， 然 后 在 另外 的 机 器 上 ping 通 Server， 这 就 可 以 更 直观 地 看 到 数据 的 走向 ， 这 对 于 以 后 编写 iptables 















































脚本 大 有 帮助 。 这 里 跟 大 家 交流 一 个 wireshark 的 使 用 经 验 ， 如 果 我 们 不 知道 某 项 服务 要 用 到 哪些 协议 、 哪 些 端口 ， 可 以 用 wireshark 进 行 抓 包 分 析 。 

















Wireshark: Capture Filter - Profile: Default 


IP address 192.168.0.1 

IPX only 

TCP only 

UDP only 

TCP or UDP port 80 (HTTP) 

HTTP TCP port (80) 

No ARP and no DNS 

Non-HTTP and non-SMTP to/from www.wireshark.o 
Apache port 


Fiter name: 
Filter string: |tcp port http 





图 7-7 ”编写 wireshark 工 具 抓 包 规 则 


Capturing from eth0 


[Wireshark DA 


File Edit View Go Capture Analyze Statistics Telephony Tools Internals Help 





辕 闻 慑 创 创 | 忆 和 xgSew 和 43 昌国 国 | ~ 








No. 


Time | Source 
68 283.594948235192 .168.174.1 
69 283.595937592192 .168.174.139 
796 283.596911991192 .168.174.1 
71 283.599869736192 .168.174.1 
72 283.5998666771192 .168.174.136 
73 283.519132925192 .168.174.1 
74 283.519166956192 .168.174.136 
75 283.51939397:192 .168.174.1 
76 283.519464871192 .168.174.1 
77 283.519416975192 .168.174.1 
78 283.51043387: 192.168.174.139 
79 283.51664994]1192 .168.174.1 


Destination 

192 .168.174.136 
192.168.174.1 
192.168.174.139 
192 .168.174.136 
192.168.174.1 
192 .168.174.136 
192 .168.174.1 
192 .168.174.136 
192 .168.174.136 
192 .168.174.136 
192 .168.174.1 
192 .168.174.136 


| Protocol Length Info 


> Frame 1: 342 bytes on wire (2736 bits), 342 bytes captured {2736 bits) on interface 0 
》 Ethernet II, Src: Vmware c4:c7:d6 (99:6c:29:c4:c7:d6)，Dst: Vmware e7:6a:83 (00:50:56:e7 
> Internet Protocol Version 4, Src: 192.168.174.136 (192.168.174.130), Dst: 192.168.174.25 








leQ19 


Ql 48 A 99 40 99 40 11 


7.7.3 ”强大 的 命令 行 扫 描 工 具 Nmap 


Nmap 被 系统 管理 员 
attack) 、Reverse-ident、ICMP (ping sweep) 、FIN、ACK sweep、Xmas Tree、SYN sweep 和 Null 扫 描 等 。Nmap 还 提供 了 一 些 实用 
延迟 和 重 发 、 平 行 扫 描 ， 通 过 并 行 的 PING 侦 测 下 属 的 主机 、 欺 骗 扫 描 、 端 





至 




































































1. 安 装 Nmap 





安装 Nmap 要 
到 WinPcap。WinPcap 的 作 | 
操作 系统 ， 下 载 得 到 的 是 一 个 执行 文件 ， 双 击 安装 ， 一 路 确认 使 
的 Windows 软 件 一 样 ，GUI 版 本 需要 安装 ， 该 版 本 的 功能 和 命令 行 版 本 基本 一 样 ， 鉴 了 
如 下 命令 即 可 : 






























































是 帮助 调 








程序 〈 即 这 里 的 Nmap) 捕获 通过 网 卡 传输 的 原始 数 


69669699 890 56 56 e7 6a 93 800 OC 29 c4 c7 d6 698 966 45 69 
5a d3 cA a8 ae 82 cf a8 





7-8 wireshatk 工 具 抓 包 结果 


过 滤 探 测 、 直 接 的 RPC 扫 描 、 分 布 扫 描 、 灵 活 的 目标 选择 及 端口 


到 一 个 称 为 “Windows 包 捕获 库 ” 的 驱动 程序 WinPcap。 如 果 你 经 常 从 网 上 下 载 流 媒体 电影 ， 可 能 已 经 很 熟悉 这 个 驱动 程序 了 一 一 某 些 流 媒体 电影 的 
居 。WinPcap 的 最 新 版 本 在 http://netgroup-serv.polito.it/winpcap 上 ， 支 持 Windows 全 系列 



































默认 设置 就 可 以 了 ， 安 装 好 之 后 需要 








许多 人 更 喜欢 用 














于 查看 一 个 大 的 网 络 系统 有 哪些 主机 ， 以 及 其 上 运行 了 何 种 服务 。 它 支持 多 种 协议 的 扫描 ,如 UDP、TCP connect () 、TCP SYN (half open) 、ftp proxy (bounce 


功能 ， 比 如 通过 TCP/IP 来 甄别 操作 系统 类 型 、 秘 密 扫描 、 动 态 
的 描述 。 它 的 扫描 功能 异常 强大 ， 以 至 于 人 们 称 它 为 “扫描 之 





也 址 是 加 密 的 ， 侦 测 这 些 电影 的 真 





新 启动 。 除 了 命令 行 版 本 之 外 ，www.insecure.org 还 提供 了 一 个 带 GUI 的 Nmap 版 本 。 和 其 他 常见 
命令 行 版 本 ， 本 文 后 面 的 说 明 就 以 命令 行 版 本 为 主 。 而 在 CentOS 6.4 下 安装 Nmap 就 简单 多 了 ， 


直接 











yum -y intall nmap 











2. 常 用 的 扫描 类 型 














解 开 Nmap 
Nmap，Nmap 显 示 出 命令 语法 ，Linux 下 是 nmap--help (以 下 命令 行 操作 均 适 用 了 


命 今 行 


命令 行 版 的 压缩 包 之 后 ， 进 入 Windows 的 命令 控制 台 ， 再 转 到 安装 Nmap 的 














下 面 是 Nmap 支 持 的 四 种 最 基本 的 扫描 方式 : 


“TCP connect () 端口 扫描 (-sT 参 数 、-sSP 用 于 扫描 整个 局 域 网 段 ) 


“ TCP 同步 


:UDP 端口 


(SYN) 端口 扫描 (-sS 参 数 ) 


扫描 (-sU 参 数 ) 


TCP ACK 扫 描 (-sA 参 数 ) 

















目录 (如 果 经 常 要 
于 Centos、FreeBSD 和 Windows 系 列 ) 。 























Nmap， 最 好 把 它 的 路 径 加 入 到 PATH 环境 变量 中 ) 。 不 带 任何 命令 行 参数 运行 


在 TCP connect () 扫描 中 ， 扫 描 器 利用 操作 系统 本 身 的 系统 调用 打开 一 个 完整 的 TCP 








连接 ， 也 就 是 说， 扫描 器 打开 了 两 个 主机 之 间 的 完整 握手 过 程 (SYN、SYN-ACK 和 ACK) 。 一 次 完整 执行 的 握手 过 程 表明 远程 主机 端口 是 打开 的 。TCP SYN 扫 描 创 建 的 是 半 打 开 的 连接 ， 它 与 TCP 


connect () 扫描 的 不 同 之 处 在 于 ，TCP SYN 扫 描 发 送 的 是 复位 (RST) 标记 而 不 是 结束 ACK 标 记 ( 即 SYN、SYN-ACK 或 RST) 。 如 果 远 程 主机 正在 监听 











符 


三 ， 





Nmap 发 送 一 个 RST; 如 果 远 程 主机 的 端 








一 个 主机 ，Ping 扫 描 耗 时 不 到 十 秒 ，TCP SYN 扫 描 大 约 需要 十 三 秒 ， 








在 目标 机 上 留 下 记录 ， 三 次 握手 的 过 程 从 来 都 不 会 完全 实现 。 


3. 命 令 


Nmap 支 持 丰 富 、 








如 果 要 查看 Nmap 运 行 的 详细 过 程 ， 只 要 启 


Nmap 默 认 扫描 从 1 到 1024 再 加 上 nmap-services 列 出 的 端口 


是 关闭 的 ， 它 的 应 答 将 是 RST， 此 时 Nmap 转 入 下 一 个 端 


























灵活 的 命令 行 参数 。 例 如 ， 如 果 要 扫描 192.168.7 网 络 ， 可 以 
，namp-sS-O 192.168.0.1 这 样 的 命令 可 以 对 此 和 





























nmap -SS 192.168.7.1-255 -~p 20,21,53-110,30000 -~-v 








这 表示 执行 一 次 TCP SYN 扫 描 ， 启 上 











nmap -sS 192.168.7.1/24 -p 80 


verbose 模 式 ， 要 扫描 的 网 络 是 192.168.7.0， 检 测 20、21、53 到 110 及 30000 以 上 的 端 [ 

















verbose 模 式 ， 即 加 上 -v 参 数 ， 或 者 加 上 -vv 参数 获得 更 加 详细 的 信息 ， 


而 TCP connect () 扫描 耗 时 最 多 ， 大 约 需 要 7 分 钟 。 需 要 说 明 的 是 ，TCP SYN 扫 描 又 称 








En 
































um | 


。TCP SYN 的 扫描 速度 要 超过 TCP connect () 扫描 。 如 果 采 
隐蔽 扫描 ， 扫 描 时 可 隐藏 








192.168.7.x/24 或 192.168.7.0-255 的 形式 指定 IP 地 址 范 上 
机 进行 操作 系统 识别 。 











蛋 。 指 


IE 














[a 





命令 如 下 所 示 : 











再 二 


是 打开 的 ， 远 程 主机 


SYN-ACK 应 























默认 计时 选项 ， 在 LAN 环 境 下 扫描 
身 IP， 因 为 它 很 少 























] 范 围 使 用 -p 参 数 ， 如 果 不 指定 要 扫描 的 端 


a 时 中 间 不 要 插入 空格 ) 。 再 举 一 个 例子 : 











它 扫 描 192.168.0 子 网 ， 查 找 在 80 端 口 








有 些 网 络 设备 ， 例 如 路 由 器 和 网 络 打印 机 ， 
如 nmap sS host timeout 10000192.168.0.1 命 令 规定 的 超时 时 间 是 10000 毫 秒 。 


网 络 设备 上 被 过 滤 掉 的 端口 一 般 会 大 大 延长 侦 测 时 间 ， 设 置 超时 参数 有 时 可 以 显著 





ab. ,本 本 
可 能 会 么 











或 过 滤 掉 某 些 端 [ 








监听 的 服务 器 (通常 是 Web 服 务 器 ) 。 


， 从 而 禁 
































配 











4. 注 意 事项 


也 许 你 对 其 他 端口 扫描 器 比较 熟悉 ， 但 Nmap 绝 对 值得 一 试 。 建 议 先 
看 看 Nmap 报 告 的 结果 ， 然 后 从 一 个 外 部 IP 地 址 扫描 ， 注 意 防火 墙 、 入 侵 检 测 系统 (1DS) 及 其 他 工 : 








网 络 扫描 的 整体 速度 。 当 然 ，host_timeout 到 底 可 以 节省 多 少 扫描 时 间 ， 最 终 还 是 由 




















连接 ”的 TCP SYN 扫 描 。 最 好 将 Nmap 扫 描 网 络 的 报告 整理 存档 ， 以 便 参 考 。 


下 面 有 几 个 关于 Nmap 的 注意 事项 : 





(1) 避免 误解 








不 要 随意 选择 测试 Nmap 的 扫描 








标 。 许 多 单位 把 端 














问题 。 如 果 不 是 在 你 控制 的 网 络 、 系 统 及 站 点 上 使 


(2) 关闭 不 必要 的 服务 


根据 Nmap 提 供 的 报告 (同时 考虑 网 络 的 安全 要 求 ) ， 关 闭 不 必要 的 服务 ， 或 者 调整 路 由 器 的 访问 控制 规则 (ACL) ， 禁 


(3) 建立 安全 基准 





在 Nmap 的 帮助 下 加 国 网 络 ， 在 搞 清楚 哪些 系统 和 服务 可 能 受到 攻击 之 后 ， 下 一 步 是 从 这 些 已 知 的 系统 和 服务 出 发 建立 一 个 安全 基准 ， 如 果 以 后 要 启 











基准 来 执行 。 





























扫描 视 为 恶意 行为 ， 所 以 测试 Nmap 最 好 在 内 部 网 络 进行 。 如 有 必 























该 工具 ， 应 该 先 查 看 许可 权 。 记 住 ， 尊 和 








7.7.4 使 用 TCPPing 工 具 检 测 TCP 延 迟 





























我 们 可 以 使 用 ping、mtr、tracert 等 命令 测试 网 络 的 延迟 ， 但 是 测试 TCP 端 口 的 访问 延迟 无 法 使 
TCPPing 工 具 的 使 用 方法 比较 简单 ， 这 里 具体 介绍 其 在 CentOS 6.8 x86_ 64 下 的 安装 ， 具 体 步骤 如 






































1) 先 提前 安装 tcptraceroute 工 具 ,， 命令 如 下 所 示 : 


yum -y install tcptraceoute 














数量 决定 。 











上 对 该 设备 或 跨越 该 设备 的 扫描 。 初 步 侦 测 网 络 情况 时 ，-host_ timeout< 毫 秒 数 > 参数 很 有 

















， 它 表示 超时 时 间 ， 例 


渗 低 扫描 网 络 所 需 的 时 间 。Nmap 会 显示 出 哪些 网 络 设备 响应 超时 ， 此 时 就 可 以 对 这 些 设备 个 别处 理 ， 从 而 保证 大 范 
网 络 上 被 过 滤 的 端 





Nmap 扫 描 一 个 熟悉 的 系统 ， 感 觉 一 下 map 的 基本 运行 模式 ， 待 熟悉 之 后 ， 再 将 扫描 范围 
对 扫描 操作 的 反应 。 通 常 ，TCP connect () 会 引起 IDS 系 统 的 


扩大 到 其 他 系统 。 首 先 扫描 内 部 网 络 

















反应 ， 但 IDs 不 一 定 会 记录 俗称 为 “ 半 























| 扫描 ， 因 为 扫描 可 能 引发 1DS 警 报 及 其 他 网 络 








， 应 该 告诉 同事 你 正在 试验 端 
看 他 人 网 络 和 系统 的 隐私 意味 着 别人 以 后 也 会 这 样 尊重 你 。 























网 络 开放 给 外 界 的 某 些 端 口 。 















































以 上 软件 完成 ， 此 时 可 以 使 
































下 。 




















TCPPing 工 





来 测试 TCP 端 口 











新 的 服务 或 服务 器 ， 就 可 以 方便 地 根据 这 个 安全 


的 延迟 情况 。 

























































































2) 再 安装 Linux 下 的 bc 计算 器 ， 因 为 tcpping 工 具 使 用 的 时 候 依赖 bc， 安 装 命令 为 : 
Yum -y install bc 
3) 然后 就 可 以 安装 tcpping 工 具 了 ， 具 体 方法 为 : 


cd /usr/bin 


wget http://www.vdberg.org/~richard/tcpping 


chmod +x tcpping 
































其 实 tcpping 就 是 Shell 脚 本 ， 有 兴趣 的 朋友 可 以 打开 此 文件 进行 详细 分 析 。 
4) 使 用 方法 很 简单 ， 在 tcpping 后 面 接 上 域名 即 可 ， 如 下 所 示 : 























tcpping www.163.com 





结果 如 下 所 示 : 


seq 0: tcp response from 211.161.149.37 [open] 


20.065 ms 


seq 1: tcp response from 211.161.149.37 [open] 5.834 ms 

seq 2: tcp response from 211.161.149.37 [open] 22.856 ms 
seq 4: tcp response from 211.161.149.37 [open] 21.325 ms 
seq 5: tcp response from 211.161.149.37 [open] 18.012 ms 
seq 6: tcp response from 211.161.149.37 [open] 9.805 ms 
seq 7: tcp response from 211.161.149.37 [open] 21.123 ms 
seq 3: tcp response from 211.161.149.37 [open] 8.525 ms 
seq 13: tcp response from 211.161.149.37 [open] 16.109 ms 
seq 9: tcp response from 211.161.149.37 [open] 22.865 ms 
seq 10: tcp response from 211.161.149.37 [open] 21.574 ms 
seq 11: tcp response from 211.161.149.37 [open] 16.966 ms 
seq 12: tcp response from 211.161.149.37 [open] 7.998 ms 
seq 8: tcp response from 211.161.149.37 [open] 19.788 ms 
seq 14: tcp response from 211.161.149.37 [open] 18.438 ms 
seq 16: tcp response from 211.161.149.37 [open] 23.798 ms 
seq 18: tcp response from 211.161.149.37 [open] 22.595 ms 
seq 15: tcp response from 211.161.149.37 [open] 20.535 ms 
seq 17: tcp response from 211.161.149.37 [open] 21.041 ms 
seq 23: tcp response from 211.161.149.37 [open] 13.793 ms 
seq 29: tcp response from 211.161.149.37 [open] 16.227 ms 
seq 20: tcp response from 211.161.149.37 [open] 8.123 ms 
seq 25: tcp response from 211.161.149.37 [open] 10.385 ms 











7.8 iptables 的 简单 脚本 学 习 


这 一 节 通 过 编写 一 个 简单 的 iptables 脚 本 来 熟悉 iptables 语 法 规则 。 网 络 拓扑 很 简单 ， 安 装 iptables 的 机 器 IP 为 : 10.0.0.15， 另 一 台 机 器 的 IP 为 : 10.0.0.16， 系 统 均 为 CentOS 6.8 x86 64。 


7.8.1 ”普通 的 Web 主 机 防护 脚本 








普通 的 Web 主 机 防护 脚本 比较 容易 实现 ，Web 主 机 主要 开放 两 个 端口 : 80 和 22， 其 他 端口 则 关闭 ， 另 外 由 于 这 里 没有 涉及 多 少 功能 ， 所 以 模块 的 载 入 也 很 简单 ， 且 只 涉及 了 iptables 的 Filter 表 的 
INPUT 链 ， 所 以 脚本 的 初始 化 也 很 简单 。 




















可 以 按照 编写 iptables 的 流程 顺序 来 写 脚本 ， 脚 本 内 容 如 下 : 





#/bin/bash 
iptables -F 
iptables -X 
iptables -2Z 


modprobe ip tables 
modprobe nf nat 
modprobe nf conntrack 


iptables -P INPUT DROP 
iptables -P FORWARD ACCEPT 
iptables -P OUTPUT ACCEPT 


iptables -A INPUT -i 10 -j ACCEPT 

iptables -A OUTPUT -o lo -]j ACCEPT 

iptables -A INPUT -p tcp -m multiport --dports 22,80 -]j ACCEPT 
iptables -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT 











这 里 的 #iptables-P INPUT DROP 符 合 我 们 编写 iptables 的 习惯 ， 即 开启 iptables 时 默认 拒绝 一 切 连接 ， 后 面 通过 -A 参 数 开放 我 们 需要 提供 的 端口 。 











iptables 脚 本 开启 后 ， 可 以 用 如 下 命令 查看 结果 : 





iptables -nv -L 








此 命令 显示 结果 如 下 : 
Chain INPUT (policy DROP 3364 packets, 204K bytes) 
pkts bytes target prot opt in out source destination 
0 OACCEPT all -- lo* 0.0.0.0/0 0.0.0.0/0 
84 5372 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 22,80 
0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED, ESTABLISHED 
Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
pkts bytes target prot opt in out Source destination 
Chain OUTPUT (policy ACCEPT 43 packets, 5532 bytes) 
pkts bytes target prot opt in out Source destination 
0 OACCEPT all -- * lo0.0.0.0/0 0.0.0.0/0 





iptables 防 火 墙 运行 后 ， 尝 试 启动 此 机 器 的 postfix 服 务 ， 打 开 服 务 器 端口 25， 然 后 通过 内 网 在 另外 一 台 机 器 上 telnet， 命 令 如 下 : 





telnet 192.168.1.204 25 





命令 显示 结果 如 下 : 





Trying 10.0.0.15http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... 
telnet: connect to address 10.0.0.15: Connection timed out 





最 小 化 安装 的 CentOS 6.8 x86_64 系 统 默 认 没有 Nmap， 可 以 通过 yum 命 令 进行 安装 ， 如 下 : 





yum -~y install nmap 





此 时 ， 在 另 一 台 机 器 上 开启 nmap 扫 描 ， 发 现 samba 提 供 服 务 的 端口 已 经 被 iptables 屏 蔽 了 ， 命 令 如 下 : 








nmap -sT 10.0.0.15 





此 命令 显示 结果 如 下 : 





Starting Nmap 5.51 ( http://nmap.org ) at 2017-05-20 16:43 BST 
Nmap scan report for 10.0.0.15 
Host is up (0.00083s latency). 
Not shown: 998 filtered ports 


PORT STATE SERVICE 

22/tcp open ssh 

80/tcp closed http 

MAC Address: 08:00:27:6C:51:E5 (Cadmus Computer Systems) 
Nmap done: 1 IP address (1 host up) scanned in 5.11 seconds 





7.8.2 ”如 何 让 别人 ping 不 到 | 自己， 而 自己 能 ping 通 别人 呢 ? 

















我 们 如 何 通过 iptables 控 制 别 人 不 能 ping 通 我 们 的 主机 ， 而 我 们 的 主机 却 能 ping 通 别人 呢 ? 达到 此 目的 所 牵涉 的 表 和 链 不 多 ， 脚 本 也 进行 了 简化 处 理 ， 代 码 如 下 : 





#/bin/bash 
iptables -F 
iptables -F -t nat 
iptables -X 
iptables -2Z 


modprobe ip tables 
modprobe iptable nat 
modprobe ip nat ftp 
modprobe ip nat irc 
modprobe ip conntrack 
modprobe ip conntrack ftp 


iptables -P INPUT DROP 
iptables -P OUTPUT DROP 
iptables -P FORWARD DROP 


iptables -A INPUT -i lo -j ACCEPT 

iptables -A INPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 
iptables -A INPUT -p tcp -m multiport --dport 80,22 -j ACCEPT 
iptables -A INPUT -p icmp --icmp-type 0 -j] ACCEPT 


iptables -A OUTPUT -o lo -]j ACCEPT 

iptables -A OUTPUT -m state --state ESTABLISHED,RELATED -j] ACCEPT 
iptables -A OUTPUT -p tcp -m multiport --sport 80,22 -j ACCEPT 
iptables -A OUTPUT -p icmp --icmp-type 8 -j ACCEPT 

















执行 此 脚本 后 ， 我 们 还 是 照常 用 iptables-nv-L 查 看 执行 后 的 结果 ， 命 令 如 下 : 





iptables -nv -L 








此 命令 显示 结果 如 下 : 





Chain INPUT (policy DROP 71 packets, 5964 bytes) 


pkts bytes target Prot opt in out source destination 
0 0 ACCEPT all = lo ei 0.0.0.0/0 0.0.0.0/0 
312 21904 ACCEPT 1L】 == 过 0.0.0.0/0 0.0.0.0/0 
state RELATED,ESTABLISHED 
0 0 ACCEPT bom = 去 0.0.0.0/0 0.0202070 
multiport dports 80,2 
0 0 ACCEPT Tem = 去 0.0.0.0/0 0 
icmp type 0 
Chain FORWARD (policy DROP 0 packets, 0 bytes) 
pkts bytes target Prot opt in out source destination 
Chain OUTPUT (policy DROP 4 packets, 288 bytes) 
pkts bytes target prot opt in out source destination 
0 0 ACCEPT LL ~ lo 0.0.0.0/0 vad Qs dd 
253 28748 ACCEPT 1 “== 和 吕 0.0.0.0/0 0.0.0.0/0 
state RELATED,ESTABLISHED 
0 0 ACCEPT ‘Da | 才 这 0.0.0.0/0 OD QD0 
multiport sports 80,22 
二 84 ACCEPT em = 守 0.0.0.0/0 0.0.0.0/0 


icmp type 8 





开启 另 一 台 服 务 器 ，IP 为 10.0.0.16， 然 后 互相 ping 一 下 试 试 ， 我 们 会 发 现 ，10.0.0.15 可 以 ping 通 10.0.0.16， 但 10.0.0.16 上 面 却 ping 不 通 10.0.0.15， 命 令 如 下 : 





ping 10.0.0.15 





此 命令 执行 结果 如 下 : 





PING 10.0.0.15 (10.0.0.15) 56(84) bytes of data. 








我 们 可 以 在 10.0.0.16 上 抓 包 试 一 下 ， 这 里 为 了 简化 操作 ， 用 TCPDump 即 可 ， 命 令 如 下 : 











tcpdump -i ethl host 10.0.0.15 -vv 





结果 如 下 : 





03:24:15.569748 IP (tos Ox0, ttl 64, id 0, offset 0, flags [DF], proto ICMP (1), length 84) 
10.0.0.16 > 10.0.0.15: ICMP echo request, id 3590, seq 169, length 64 


03:24:16.569767 IP (tos Ox0, ttl] 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:17.569522 IP (tos Ox0, ttl 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:18.570498 IP (tos Ox0, ttl] 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:19.571417 IP (tos Ox0, ttl 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:20.578735 IP (tos Ox0, ttl] 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:21.587630 IP (tos Ox0, ttl 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:22.588459 IP (tos Ox0, ttl 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:23.589338 IP (tos Ox0, ttl] 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:24.590390 IP (tos Ox0, ttl 64, 
10.0.0.16 > 10.0.0.15: ICMP echo 
03:24:25.595589 IP (tos Ox0, ttl] 64, 
10.0.0.16 > 10.0.0.15:; ICMP echo 


id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 
id 0, offset 0, flags 
request, id 3590, seq 


DF], proto 
170, length 
DF], proto 
171, length 
DF], proto 
172, length 
DF], proto 
173, length 
DF], proto 
174, length 
DF], proto 
175, length 
DF], proto 
176, length 
DF], proto 
177, length 
DF], proto 
178, length 
DF], proto 
179, length 








length 
length 
length 
length 
length 
length 
length 
length 
length 


length 


84) 
84) 
84) 
84) 
84) 
84) 
84) 
84) 
84) 


84) 











具体 原因 分 析 如 下 : 在 icmp 协 议 里 ，icmy-type 为 8 表示 ping request， 即 ping 请 求 ， 而 icmp-type 为 0 表示 echo relay， 即 回 





显 应 答 。1ICMP 也 是 TCPVIP 协 议 的 一 种 ， 它 也 需 


三 次 握手 。10.0.0.16 向 


10.0.0.15 发 送 ping request 请 求 ， 但 收 不 到 10.0.0.15 的 echo relay 消 息 ， 三 次 握手 完成 不 了 ， 所 以 10.0.0.16 的 机 器 ping 不 通 10.0.0.15。 反 之 ，10.0.0.15 的 机 器 能 ping 通 10.0.0.16 (10.0.0.16 的 机 器 上 面 没 


有 做 任何 iptables 策 略 ) ， 这 样 就 达到 了 我 们 要 实现 的 目的 。 


7.8.3 ”建立 安全 的 vsftpd 服 务 器 


vsftpd 有 两 种 运行 模式 ， 一 种 是 主动 模式 (ACTIVE) ， 一 种 是 被 动 模式 ( 即 大 家 非常 熟悉 的 PASV) 。 它 们 的 工作 机 制 又 是 怎样 的 呢 ? 











21 端 口 是 FTP 的 命令 传输 端口 ， 而 数据 的 传输 分 为 主动 模式 和 被 动 模式 ， 主 动 模式 下 的 工作 原理 为 : 





客户 端 向 服务 器 的 FTP 端 口 (默认 是 21) 发 送 连 接 请 求 ， 服 务 器 接受 连接 ， 建 立 一 条 命令 链 路 。 当 需要 传送 数 拉 
我 ”。 于 是 服务 器 从 20 端 口 向 客户 端的 xx 端口 发 送 连接 请 求 ， 建 立 了 一 条 数据 链 路 来 传送 数据 。 








这 种 被 动 方式 是 为 了 解决 服务 器 发 起 到 客户 连接 的 问题 而 开发 的 一 种 不 











在 被 动 方式 FTP 中 ， 命 令 连 接 和 数据 连接 都 由 客户 端 发 起 ， 这 样 就 可 以 解决 从 服务 器 到 客户 端 数 
任意 的 非特 权 本 地 端口 (N> 1024 和 N+1) ， 第 一 个 端口 连接 服务 器 的 21 端 


























同 的 FTP 连 接 方式 ， 或 者 叫做 PASV， 当 




















届时， 客户 端 在 命令 链 路 上 用 PORT 命令 告诉 服务 器 : “我 打开 了 xx 端 


客户 端 通知 服务 器 它 处 于 被 动 模式 时 才 会 启用 。 




















居 端 口 的 入 方向 连接 被 防火 墙 过 滤 掉 的 问题 。 它 的 工作 原理 是 : 当 
， 但 与 主动 方式 的 FTP 不 同 的 是 ， 客 户 端 不 会 提交 PORT 命令 并 允许 服务 器 来 回 连接 它 的 数据 端口 ， 而 是 提交 PASV 命 令 。 这 样 


做 的 结果 是 服务 器 会 开启 一 个 任意 的 非特 权 端口 (端口 大 于 1024) ， 并 发 送 PORT 命 令 给 客户 端 。 然 后 客户 端 发 起 从 本 地 端口 N+ 1 到 服务 器 端口 的 连接 ， 以 传送 数据 。 











对 于 服务 器 端的 防火 墙 来 说， 必须 允许 下 面 的 通信 才能 支持 被 动 方式 的 FTP : 


“ 可 从 任何 端口 到 服务 器 的 21 端 口 (客户 端 初 始 化 的 连接 Client->Server) 。 


“ 可 从 服务 器 的 21 端 口 到 任何 大 于 1024 的 端口 (服务 器 响应 到 客户 端的 控制 端口 的 连接 S 一 C) 。 


“ 可 从 任何 端口 到 服务 器 的 大 于 1024 的 端口 (客户 端 初始 化 数据 连接 到 服务 器 指定 的 任意 端口 Client 一 Server) 。 





“ 可 从 服务 器 的 大 于 1024 的 端口 到 远程 的 大 于 1024 的 端口 (服务 器 发 送 ACK 响 应 和 数据 到 客户 端的 数据 端口 Server 一 Client) 。 


“ 请 大 家 注意 选择 模式 的 原则 ， 如 下 所 示 : 


“ Client 没 有 防火 墙 时 ， 用 主动 模式 连接 即 可 。 


“Server 没 有 防火 墙 时 ， 用 被 动 模式 连接 即 可 。 


“ 双方 都 有 防火 墙 时 ，vsftpd 设 置 被 动 模式 高 端口 范围 ，server 打 开 那 段 范围 ，client 用 被 动 模式 连接 即 可 。 














启 一 个 FTP 连 接 时 ， 客 户 端 打开 两 个 


这 里 我 们 重 开局 域 网 的 两 台 机 器 ，vsftpd 的 机 器 IP 为 192.168.185.153， 系 统 为 CentOS 6.8 x86_64，vsftpd 客 户 端 机 器 IP 为 192.168.184.36， 系 统 为 vindows 8.1 x86_64， 在 此 机 器 上 部 署 了 64 位 的 











wireshark (主要 是 考虑 进行 | 











[ 





#!/bin/bash 
iptables -F 
iptables -Xx 
iptables -2 


#FTP 需 要 ip_nat_ftp 模 块 
modprobe ip conntrack ftp 
modprobe ip nat ftp 





# 这 里 为 了 实验 效果 ，OUTPUT 默 认 策略 也 定义 为 DROP 
iptables -P INPUT DROP 

iptables -P OUTPUT DROP 

iptables -P FORWARD ACCEPT 


# 打 开 回环 口 ， 免 得 不 必要 的 麻烦 
iptables -A INPUT -i lo -j ACCEPT 
iptables -A OUTPUT -o 10 -j ACCEPT 





#22 和 21 端 口 都 打开 ， 确 认 这 二 个 端口 的 数据 都 会 被 顺利 放行 ,但 请 大 家 注意 的 是 ， 这 里 并 没有 开放 20 端 口 


iptables -A INPUT -p tcp --dport 22 -j ACCEPT 
iptables -A OUTPUT -~p tcp --sport 22 -j] ACCEPT 
iptables -A INPUT -p tcp --dport 21 -j] ACCEPT 
iptables -A OUTPUT -P tcp --sport 21 -j] ACCEPT 





# 与 FTP-DATA 有 关 的 RELATED 包 都 会 被 放行 ， 用 状态 来 约束 数据 包 比 用 端口 智能 些 
iptables -A INPUT -p tcp -m state --state ESTABLISHED,RELATED -j ACCEPT 
iptables -A OUTPUT -p tcp -m state --state ESTABLISHED,RELATED -j ACCEPT 


形 化 操作 时 windows 系 统 更 为 方便 ) 。 首 先 ， 在 vsftpd 机 器 执行 iptables 相 关 肢 本， 计划 以 被 动 模式 连接 (vsftpd 服务 器 没有 开放 20 端 口 ) 。 代 码 如 下 所 示 : 





执行 脚本 后 ， 照 例 查看 执行 后 的 iptables 结 果 ， 命 令 如 下 : 





iptables -nv -L 


此 命令 显示 结果 如 下 : 





Chain INPUT (policy DROP 0 packets, 0 bytes) 


pkts bytes target prot opt in out source 
0 0ACCEPT all -- lo 大 0.0.0.0/0 
33 2152 ACCEPT tcp -- * 密 O00.070 
tcp dpt:22 
0 0 ACCEPT 和 次 020202070 
tcp dpt:21 
0 0 ACCEPT tas me 本 GD 
state RELATED,ESTABLISHED 


Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 


pkts bytes target prot opt in out source 
Chain OUTPUT (policy DROP 0 packets, 0 bytes) 
pkts bytes target prot opt in out source 
DACCERPT all -~ * 1o 0.0.0.0/0 
17 1596 ACCEPT i 次 OdaQ dd 
tcp spt:22 
0 0 ACCEPT ta = 和 0.0.0.0/0 
tcp spt:21 
0 0 ACCEPT 外 ne 才 OVad 00 


cp 
State RELATED,ESTABLISHED 


destination 
0.0.0.0/0 
0.0.0.0/0 
0.0.0.0/0 


0.0.0.0/0 


destination 


destination 
0.0.0.0/0 
0.0.0.0/0 
0.0.0.0/0 


0.0.0.0/0 











然后 我 们 启动 vsftpd 服 务 ， 














为 是 实验 环境 ， 可 以 将 其 chkconfig 状 态 也 配置 为 on， 具 体 命令 如 下 所 示 : 





service vsftpd start 


chkconfig vsftpd on 





在 客户 端 机 器 上 用 wireshark 进 行 抓 包 ， 其 规则 如 图 7-9 所 示 。 





链 路 层 头 混杂 ”Snap 长 | 缓存 (M 监控 性 捕获 过 滤器 
Ethernet [|] 默认 2 


VirtualBox Host-Only Network 本 Ethernet [] 
VirtualBox Host-Only Network#2 _ Ethernet 口 ] 
VirtualBox Host-Only Network #3 _ Ethernet 口 ] 
VMware Network Adapter VMnet8 __ Ethernet [] 
VMware Network Adapter VMnet1 __ Ethernet 口 ] 
WLAN = Ethernet 口 ] 


Db 
D 
Db 
Db 
Db 
D 
Db 
Db 


在 所 有 接口 上 使 用 混杂 模式 
所 选择 接口 的 捕获 过 滤器 : 





图 7-9 ”wireshatk 工 具 抓 包 规则 图 示 








我 们 在 客户 机 机 器 上 面 用 ftp 相 关 工 具 进 行 登录 ， 这 里 的 用 户 和 相关 密码 为 yhc:yhc 87654321， 然 后 进行 相关 下 载 和 上 传 工作 ， 我 们 发 现 一 切 顺 利 ， 证 明 此 脚本 是 生效 的 。 而 此 时 vsftpd 机 器 上 面 的 抓 包 














结果 如 图 


7-10 和 图 7-11 所 示 。 


40037 41.819694 
40038 41.819764 


40039 41.819713 


192.168.185.153 
192.168.185.153 
192.168.185.153 


FTP-DATA 
FTP-DATA 
FTP-DATA 


1514 FTP Data: 1466 bytes 
1514 FTP Data: 1466 bytes 


392 FTP Data: 338 bytes 








Frame 40036: 1514 bytes on wire (12112 bits), 1514 bytes captured (12112 bits) on interface 8 
> Ethernet 11, Src: HewlettP db:fa:ac (be:5a:da:db:fa:ac), Dst: TyanComp _d9:12:54 (66:e9:81:d9:12:54) 
> Internet Protocol Version 4, Src: 192.168.184.36, Dst: 192.168.185.153 
> Transmission Control Protocol, Src Port: 53414, DSt Port: 27543, Seq: 1, Ack: 1, Len: 1466 
FTP Data (// Copyright 2813 The G60 Authors. All rights reserved.\n// Use of this source code is governed by a BSD-style\n// license that can be found in the LICENSE file.\n\npackage callgr 





图 7-10 vsftpd 抓 包 结果 图 (一) 


>» Frame 46637: 1514 bytes on wire (12112 bits), 1514 bytes captured (12112 bits) on interface 9 

» Ethernet II, Src: Hewlettp db:fa:ac (be:5a:da:db:fa:ac), Dst: TyanComp _d9:12:54 (96:e6:81:d9:12:54) 
» Internet Protocol Version 4, Src: 192.168.184.36, Dst: 192.168.185.153 

» Transmission Control Protocol, Src Port: 53414, Dst Port: 27543, Seq: 1461, Ack: 1, Len: 1466 


da db fa 


PathSear 
ch(start *Node, 
isEnd fu nc(*Node 
) bool) [] "Edge 
{..stack := make 
([]*Edge , 8, 32) 
,Seen : = make(m 
ap[*Node ]bool).. 
var sear ch func( 
n *Node) []*Edge 
, .Search = func( 
n *Node) []*Edge 

{...if lseen[n] 
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图 7-11 vsftpd 抓 包 结 果 图 (二) 


大 家 可 以 关注 vsftpd 实 际 数据 传输 时 ， 即 此 时 协议 为 FTP-DATA 时 ， 客 户 端 机 器 和 vsftpd 采 用 的 均 为 大 于 1024 的 端口 传输 数据 ， 正 好 验证 了 我 们 此 前 关于 vsftpd 被 动 传输 时 的 观点 。 


大 家 可 以 思考 下 ， 如 果 我 们 不 采 


口 
































这 个 地 方 采 用 端口 

















状态 的 方式 而 用 端口 的 方式 来 处 理 的 话 ， 这 里 会 是 一 件 很 麻烦 并 且 不 安全 的 事情 。 由 于 FTP 数 据 包 的 源 端口 和 目的 端口 都 大 于 1024， 而 且 还 是 多 端口 传输 数据 ， 如 果 











号 的 方式 来 做 会 非常 麻烦 ， 代 码 如 下 所 示 : 





iptables -A INPUT -p tcP --sport 1024: 
iptables-A OUTPUT -p tcp --sport 1024: --dport 1024: -]j ACCEPT 


--dport 1024: -j] ACCEPT 
































如 果 加 上 这 两 名 话 ， 相 当 于 开放 了 1024 以 上 的 所 有 端口 ， 那 还 有 何 安全 可 言 ? 如 果 要 在 这 种 情况 下 对 端口 进行 限制 ， 就 需要 在 vsftpd 配 置 多 个 端口 ， 然 后 分 别针 对 这 些 端 口 进行 允许 的 操作 。 但 是 如 果 


















































状态 来 设置 就 会 简单 方便 得 多 ， 所 以 这 也 是 iptables 状 态 防火 墙 更 智能 的 原因 。 





7.9” 线 上 生产 服务 器 的 iptables 脚 本 





在 编写 安全 的 iptables 脚 本 之 前 ， 要 先 做 好 准备 工作 。 现 在 比较 新 的 Centos 系 统 版 本 是 CentOS 6.8 x86_64， 可 以 通过 如 下 命令 查看 它 自 带 的 iptables 版 本 : 




















iptables --version 











或 者 使 用 另 一 个 命令 : 











iptables -V 


两 者 皆 可 以 显示 如 下 结果 : 





iptables v1.4.7 











如 果 要 查看 系统 的 内 核 版 本 号 ， 可 以 用 如 下 命令 : 











uname -r 


命令 显示 结果 如 下 : 


2.6.32-642.e16.x86_ 64 














为 什么 要 采 





较 新 的 Centos 系 统 呢 ， 这 是 因 

















为 iptables 现 在 有 许多 新 的 模块 ， 如 果 在 原 有 的 老 系统 和 老 内 核 上 采用 这 些 新 的 iptables 模 块 ， 必 须要 采取 重新 编译 内 核 的 方法 。 不 过 现在 新 版 的 Centos 系 





统 自 带 的 iptables 新 版 本 已 经 支持 了 原先 不 支持 的 许多 模块 ， 如 connlimit、recent 模 块 等 ， 所 以 我 们 部 署 iptables 防 火 墙 就 容易 多 了 。 





Oy Fipwp 


es v1.3.x 和 iptablesv1.4.7 的 语法 有 细微 的 区 别 ， 除 了 线 上 生产 服务 器 (基于 稳定 的 原则 ， 线 上 环境 不 可 能 随便 去 更 改 内 核 及 iptables 版 本 ) ， 以 下 所 有 的 iptables 脚 本 都 以 CentOS 6.x86_64 系 


统 、 内 核 版 本 2.6.32-642.el6.x86_64、iptables 版 本 1.4.7 为 平台 进行 说 明 。 








在 调试 iptables 脚 本 之 前 ， 由 于 这 里 的 服务 器 都 涉及 生产 服务 器 ， 为 了 防止 意外 事件 发 生 ， 配 置 了 一 个 Crontab 计 划 任 务 ， 每 5 分 钟 关 闭 一 次 防火 墙 ， 免 得 将 自己 干 里 之 外 的 防火 墙 SSH 连 接 都 断 掉 ， 那 
样 就 得 不 偿 失 了 ， 编 辑 /etc/crontab 计 划 任 务 ， 如 下 : 








*/5 * * * * root /etc/init.d/iptables stop 





等 确保 iptables 万 无 一 失 以 后 ， 才 能 清除 掉 此 计划 任务 。 


7.9.1 ”安全 的 主机 iptables 防 火 墙 脚本 


下 面 以 笔者 自己 的 线 上 iRedMail 邮 件 服务 器 (此 机 器 系统 为 CentOS 5.1 x86_64， 此 邮件 服务 器 上 线 时 间 比 较 早 ，2008 年 左右 ) 为 例 进行 说 明 ， 系 统 的 默认 策略 是 INPUT 为 DROP，OUTPUT、 
FORWARD 链 为 ACCEPT，DROP 设 置 得 比较 宽松 ， 因 为 我 们 知道 出 去 的 数据 包 比较 安全 。 


脚本 代码 如 下 : 


#/bin/bash 
iptables -F 


iptables -F -t nat 


iptables -Xx 


iptables -P INPUT DROP 
iptables -P OUTPUT ACCEPT 
iptables -P FORWARD ACCEPT 


#1load connection-tracking modules 
modprobe ip conntrack 
modprobe iptable nat 








iptables -A INPUT -f -m limit --limit 100/sec --limit-burst 100 -j ACCEPT 
iptables -A FORWARD -p icmp --icmp-type echo-request -m limit --limit 1/s --limit-burst 10 -j ACCEPT 
iptables -A INPUT -p tcp -m tcp --tcp-flags SYN,RST,ACK SYN -m limit --limit 20/sec --limit-burst 200 -j ACCEPT 


iptables -A INPUT -i lo -j ACCEPT 
iptables -A OUTPUT -o lo -]j ACCEPT 
iptables -A INPUT -m state -~-state ESTABLISHED,RELATED -j] ACCEPT 

iptables -A INPUT -p tcp -m multiport --dport 80,443,25,465,110,995,143,993,587,465,22 -j ACCEPT 


查看 iptables 的 详细 规则 ， 命 令 如 下 : 





iptables -nv 


-Fs 





此 命令 显示 结果 如 下 : 





Chain INPUT (policy DROP 0 packets, 0 bytes)pkts bytes target Prot opt in out source destination0 0 ACCEPT I -二 人 过 是 DD 




















我 们 在 主机 的 防护 上 配置 了 一 些 安全 措施 ， 以 防止 外 部 的 ping 和 SYN 洪 水 攻击 ， 并 且 考 虑 到 外 部 的 疯狂 端口 扫描 软件 可 能 会 影响 服务 器 的 入 口 带宽 ， 所 以 在 这 里 也 做 了 限制 。 命 令 如 下 : 





iptables -A INPUT -p tcp --syn -m limit -~~-limit 100/s --limit-burst 100-j ACCEPT 








上 面 的 命令 表示 每 秒 钟 最 多 允许 10 个 新 连接 ， 请 注意 这 里 的 新 连接 指 的 是 state 为 New 的 数据 包 ， 在 后 面 也 配置 了 允许 状态 为 ESTABLISHED 和 RELATED 的 数据 通过 。 另 外 ，100 这 个 立 值 则 要 根据 服务 
器 的 实际 情况 来 调整 ， 如 果 是 并 发 量 不 大 的 服务 器 ， 则 要 将 这 个 数值 调 小 ， 如 果 是 访问 量 非常 大 且 并 发 数 不 小 的 服务 器 ， 则 这 个 值 还 需要 调 大 。 再 看 以 下 命令 : 




















iptables -A FORWARD -p icmp --icmp-type echo-request -m limit --limit 1/s -limit -burst 10 -j ACCEPT 





这 是 为 了 防止 ping 洪 水 攻击 ， 限 制 每 秒 的 ping 包 不 超过 10 个 。 





iptables -A INPUT -~p tcp -m tcp --tcp-flags SYN,RST,ACK SYN -m limit --limit 20/sec --limit-burst 200 -j ACCEPT 





上 面 的 命令 防止 各 种 端口 














还 可 以 运行 hmap 工 . 

















扫描 ,将 SYN 及 ACK SYN 限 制 为 每 秒 钟 不 超过 200 个 ， 避 免 将 数 务 器 带宽 耗 尽 。 


扫描 此 机 器 的 公 网 地 址 211.143.x.x (此 公 网 IP 已 做 无 害处 理 ) ， 命 令 如 下 : 





nmap -=PO -5S 211,.143,x.X 





此 命令 的 执行 结果 如 下 : 





Starting Nmap 4.11 ( http://www.insecure.org/nmap/ ) at 2009-03-29 16:21 CST 
Interesting ports on 211.143.x.x: 
Not shown: 1668 closed ports 


PORT 

22/tcp 
25/tcp 
80/tcp 


open 
open 
open 


STATE SERVICE 


ssh 
smtp 
http 


110/tcp open pop3 
111/tcp open rpcbind 
143/tcp open imap 
443/tcp open https 
465/tcp open smtps 
587/tcp open submission 
993/tcp open imaps 
995/tcp open pop3s 
1014/tcp open unknown 











在 这 里 发 现 有 一 个 1014 端 被 某 个 进程 打开 了 ， 用 如 下 命令 查看 : 

















lsof -i:1014 























查看 发 现 又 是 rpc.statd 打 开 的 ， 该 服务 每 次 用 的 端口 都 不 一 样 。 本 想 置之不理 ， 但 如 果 rpc.statd 不 能 正确 处 理 SIGPID 信 号 ， 远 程 攻 击 者 可 利用 这 个 漏洞 关闭 进程 ， 进 行 拒绝 服务 攻击 ， 所 以 还 是 得 想 办 
法 解决 。 可 以 看 到 ，rpc.statd 是 由 服务 nfslock 开 启 的， 进一步 查询 得 知 它 是 一 个 可 选 的 进程 ， 它 允许 NFS 客 户 端 在 服务 器 上 对 文件 加 锁 。 这 个 进程 对 应 于 nfslock 服 务 ， 于 是 考虑 关闭 此 服务 ， 命 令 如 下 : 




















service nfslock stop 
chkconfig nfslock off 





7.9.2 ”自动 分 析 黑 名 单 及 白 名 单 的 iptables 脚 本 








本 iptables 脚 本 是 一 个 自动 分 析 黑 名 单 和 白 名 单 的 安全 脚本 ， 脚 本 路 径 为 /root/deny_100.sh。 运 行 此 脚本 时 要 注意 的 是 : 




















: 此 脚本 能 自动 过 滤 掉 企业 中 通过 NAT 出 去 的 白 名 单 IP， 很 多 中 小 企业 都 是 以 iptables 作 为 NAT 软 路 由 上 网 的 ， 可 以 将 一 些 与 我 们 有 往来 的 公司 及 本 公司 的 安全 IP 添 加 进 白 名 单 ， 以 防 错误 过 滤 。 


“ 这 里 定义 的 阐 值 DEFIIN 是 100， 其 实 这 个 值 应 该 根据 具体 生产 环境 而 定 ，50 一 100 较 好 。 


: 此 脚本 原理 其 实 很 简单 ， 通 过 判断 瞳 间 连接 数 是 否 大 于 100 来 决 择 ， 如 果 是 白 名 单 里 的 IP 则 跳 过 ， 如 果 不 是 ， 则 用 iptables-I 参 数 将 此 恶意 IP 禁 掉 。 这 里 建议 不 要 用 -A，-A 在 iptables 的 规则 里 是 最 后 添加 
的 ， 往 往 达 不 到 即时 别 除 的 效果 。 大 家 都 知道 ，iptables 中 针对 链 的 操作 其 实 是 有 规则 编号 的 ，-I[ 表 示 在 规则 的 最 前 面 持 入 ， 而 iptables 是 按照 规则 的 顺序 来 生效 的 ， 所 以 可 以 采用 -I 实现 立即 禁止 某 IP 的 目的 。 


“ 此 脚本 是 在 线 上 的 邮件 服务 器 上 进行 调试 的 ， 系 统 为 CentOS5.1 x86_64。 








可 以 








cat 命 令 来 查看 脚本 内 容 ， 如 下 : 





cat /root/deny 100.sh 





/root/deny_100.sh 脚 本 的 内 容 如 下 : 





#/bin/bash 
netstat -an| grep :25 | grep -v 127.0.0.1 lawk '{ print $5 }' | sortlawk -F: '{print $1,$4}' | uniq -c | awk '$1 >50 {print $1,$2}' > /root/black.txt 


for i 





NE: 
ZERO=" 


in ‘awk '{print $2}' /root/black.txt. 


‘grep $i /root/black.txt | awk '{print \$S11 
1000™ 





if [ SCOUNT -gt $DEFINE ]; 


th 


en 


grep $i /root/white.txt > /dev/null 
if [ $2? -gt $2ERO ]; 








then 
echo "SCOUNT $i" 
iptables -I INPUT -p tcp -s $i -j DROP 
fi 
£1i 
2009 年 3 月 30 日 下 午 14:25 分 ， 用 下 列 命令 监控 : 




















netstat -an| grep :25 | grep -v 127.0.0.1 |awk '{ print $5 }' | sortlawk -F: '{print $1}' | uniq -c | awk '$1 >100' 





此 命令 执行 后 显示 的 内 容 如 下 : 





1122219.136.163.207 


1761.144.157.236 














219.136.163.207 这 个 IP 的 瞬间 连接 数 为 1122， 这 个 值 明 显 不 正常 ， 这 极 有 可 能 是 一 个 攻击 IP， 用 http://www.ip138.com 查 证 ， 发 现 如 下 结果 : 





ip138.com IF 查询 〈 搜 索 IP 地 址 的 地 理 位 置 ) 
您 查询 的 IP:219.136.163.207 

本 站 主 数据 :广东 省 广州 市 电信 去 

参考 数据 一 : 广东 省 / 
参考 数据 二 : 广东 省 让 


























调用 deny_100.sh 将 此 IP 禁 止 ， 再 运行 ./root/count.sh 后 就 无 显示 了 ， 表 明 脚 本 执行 成 功 ， 可 用 iptables-nL 验 证 ， 另 外 ， 要 人 允许 此 脚本 每 10 分 钟 执行 一 次 ， 命 令 如 下 : 








*/10 * * * * root /bin/sh /root/deny 100.sh 








一 般 来 说 ，10 分 钟 或 更 长 时 间 执 行 一 次 此 脚本 是 没有 问题 的 ， 因 为 此 脚本 只 要 发 现 有 大 量 可 疑 IP 连 接 ， 在 排除 是 白 名 单 的 情况 下 会 立即 禁止 此 iP 访问 。 








六 在 的 朋友 喜欢 使 用 while 人 循环 的 方法 ， 这 里 也 可 以 用 ,但 要 注意 防止 出 现 死 循环 的 问题 ， 故 而 一 定 要 记得 带 上 sleep 语 句 。 








在 局 域 网 下 模拟 测试 攻击 来 测试 此 脚本 : 








我 们 可 以 在 本 机 iptables 防 火 墙 (Server 机 器 IP 为 10.0.0.15) 上 ,将 此 脚本 监听 端口 由 25 改 成 80 端 口 ， 记 得 提前 开启 Appache 服 务 。 然 后 在 另 一 台 CentOS 6.8x86_64 机 器 ， 比 如 10.0.0.16 上 安装 
webbench 软 件 ， 用 它 来 模拟 80 端 口 的 攻击 。 



























































Webbench 是 一 个 在 linux 下 使 用 非常 简单 的 网 站 压 测 工具 。 它 使 用 fork () 模拟 多 个 客户 端 同 时 访问 我 们 设 定 的 URL， 测 试 网 站 在 压力 下 工作 的 性 能 ,最 多 可 以 模拟 3 万 个 并 发 连接 去 测试 网 站 的 负载 
能 力 。Webbench 使 用 C 语 言 编写 ， 代 码 十 分 简洁 ， 源 码 加 起 来 不 到 600 行 。 















































推荐 下 载 地 址 为 : https://github.com/EZLippi/WebBench。 











先进 入 /usr/local/src 目 录 ， 然 后 git clone， 如 下 : 














https://github.com/EZLippi/WebBench.git 








源码 编译 安装 之 前 记得 先 提前 安装 好 gcc 等 基础 库 ， 命 令 如 下 所 示 : 





yum install gcc gcc-c++ make ctags 





然后 再 进行 编译 安装 ， 如 下 所 示 : 





make && make install 











命令 显示 结果 如 下 ， 表 示 安 装 成 功 了 : 





install -d /usr/local/webbench/bin 

install -s webbench /usr/local/webbench/bin 

ln -sf /usr/local/webbench/bin/webbench /usr/local/bin/webbench 

install -d /usr/local/man/manl 

install -d /usr/local/webbench/man/manl 

install -m 644 webbench.1 /usr/local/webbench/man/manl 

ln -sf /usr/local/webbench/man/manl/webbench.1 /usr/local/man/manl/webbench.1 
install -d /usr/local/webbench/share/doc/webbench 

install -m 644 debian/copyright /usr/local/webbench/share/doc/webbench 
install -m 644 debian/changelog /usr/local/webbench/share/doc/webbench 











大 家 可 以 用 webben-h 命 令 来 查看 详细 使 用 说 明 ， 如 下 所 示 : 











webbench [option]http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/... URL 


-£|-~~force Don't wait for reply from server. 
-r|--reload Send reload request - Pragma: no-cache. 
-t|--time <sec> Run benchmark for <sec> seconds.Default 30. 

-pl|--proxy <server:port> Use proxy server for request. 
-c|--clients <n> Run <n> HTTP clients at once. Default one. 
-9|--http09 Use HTTP/0.9 style requests. 
-1|--http10 Use HTTP/1.0 protocol. 
-2|--httpll Use HTTP/1.1 protocol. 
ge Use GET request method. 
--head Use HEAD request method. 
—-options Use OPTIONS request method. 
--trace Use TRACE request method. 
-?|-h|--help This information. 
-V|--version Display program version. 











然后 用 以 下 命令 进行 压力 测试 模拟 端口 攻击 ) : 











webbench -t 1000 -c 150 http://10.0.0.15/ 





此 行 的 意思 是 在 1000s 的 单位 时 间 内 ， 模 拟 150 个 并 发 去 访问 http://10.0.0.15 的 网 站 。 


我 们 在 服务 器 上 可 以 执行 如 下 命令 ， 观 测 iptables 的 执行 结果 : 





iptables -nv -L 





命令 显示 结果 如 下 : 





Chain INPUT (policy ACCEPT 41 packets, 2749 bytes) 
pkts bytes target prot opt in out source destination 


2165 125K DROP 起 10.0.0.16 0.0.0.0/0 


Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
pkts bytes target prot opt in out source destination 


Chain OUTPUT (policy ACCEPT 1096 packets, 1524K bytes) 
pkts bytes target prot opt in out source destination 








然后 试 着 在 10.0.0.16 的 机 器 上 用 elinks 或 curl 访 问 10.0.0.15 的 Apache 服 务 ， 这 时 已 经 访问 不 了 了 ， 证 明 此 脚本 运行 成 功 ， 有 兴趣 的 朋友 可 以 依照 以 上 步骤 进行 实验 。 















































将 此 脚本 放 在 线 上 服务 器 使 用 时 ， 发 现 对 于 非 Web 的 应 用 服务 器 ， 如 Mail、DNS 等 应 用 服务 器 确实 有 效果 ， 而 对 于 Web 应 用 服务 器 效果 不 是 特别 明显 。 这 是 因为 现在 有 许多 Web 服 务 器 ， 特 别 是 存储 
海量 图 片 小 文件 的 服务 器 ， 如 果 单 击 某 一 个 链接 ， 可 能 会 同时 产生 许多 对 应 页 面 的 链接 ， 而 这 个 1P 在 netstat 中 对 应 的 链接 数 就 有 100 多 个 ， 故 而 脚本 会 认为 此 IP 是 危险 的 ， 应 该 DROP 掉 它 ， 但 我 们 通过 
Nginx 的 日 志 分 析 ， 发 现 这 个 客户 端的 |P 是 一 个 正常 的 客户 |P， 因 此 将 此 脚本 应 用 于 Web 服 务 器 不 太 合适 。 笔 者 目前 也 只 将 其 用 于 邮件 服务 器 和 DNS 服务 器 ， 请 大 家 在 实际 工作 中 也 注意 甄别 使 用 ， 如 果 确 
实 需要 限制 |P 在 单位 时 间 内 的 连接 次 数 ， 可 以 利用 iptables 的 recent 模 块 进行 ， 下 一 节 将 会 跟 大 家 详细 说 明 。 
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7.9.3 利用 recent 模 块 限制 同一 IP 的 连接 数 





























上 一 节 向 大 家 演示 了 自动 区 别 黑 名 单 和 白 名 单 的 iptables 脚 本 ， 发 现 将 其 应 用 于 Web 服 务 器 的 效果 并 不 是 太 好 ， 如 果 想 限制 瞬间 连接 数 过 大 的 恶意 |P 地 址 ， 可 以 考虑 使 用 iptables 的 模块 recent。 
























































新 版 的 iptables 有 个 简单 高 效 的 功能 ， 可 以 用 它 阻止 瞬间 联机 太 多 的 源 I|P。 这 种 阻挡 功能 在 某 些 地 方 很 受 欢迎 ， 比 如 说 某 大 型 讨论 区 网 站 ， 每 个 网 页 都 有 可 能 遭 到 无 聊 人 士 的 连接 ， 一 瞬间 太 多 的 链接 访 
问 导致 服务 器 呈 呆 消 状 态 。 














此 时 需要 使 用 下 列 三 行 指令 ， 代 码 内 容 如 下 : 








iptables -I INPUT -p tcp --dport 80 -m state --state NEW -m recent --name web --set 
iptables -A INPUT -m recent --update --name web --seconds 60 --hitcount 20 -]j LOG --log-prefix 'HTTP attack: ' 
iptables -A INPUT -m recent --update --name web --seconds 60 --hitcount 20 -j DROP 














第 一 行 : -| 表示 将 本 规则 插入 到 INPUT 链 的 最 上 方 。 什 么 规则 呢 ?”iptables 判 断 只 要 是 TCP 性 质 的 联机 ， 目 标 端口 是 80 并 且 目 标 IP 是 我 们 机 器 IP 的 联机 ， 就 将 这 个 联机 列 入 这 份 Web 清 单 中 。 


























第 二 行 : -A 表示 将 本 规则 附 在 INPUT 链 的 最 末端 。 如 果 在 60 秒 内 ， 同 一 个 来 源 连续 产生 了 多 个 联机 ， 在 到 达 第 20 个 联机 时 ， 对 此 联机 留 下 Log 记 录 。 记 录 行 会 以 HTTP attack 开 头 。 














第 三 行 : -A 表示 将 本 规则 附 在 INPUT 链 的 最 末端 。 在 与 第 二 行 同样 的 条 件 下 ， 本 次 的 动作 则 是 将 此 联机 给 断 掉 ， 即 将 每 60 秒 内 有 20 个 联机 的 数据 包 给 DROP 掉 。 


























所 以 ， 这 三 行规 则 表示 ， 我 们 允许 一 个 客户 端 ， 每 一 分 钟 内 可 以 接 上 服务 器 的 20 个 新 连接 ， 具 体 数值 由 具体 的 生产 环境 决定 。 这 些 规 则 也 可 以 用 在 其 他 对 Internet 开 放 的 应 用 服务 上 ， 例 如 Mail 邮 件 服 
务 器 和 DNS 解析 服务 器 。 
























































为 什么 新 版 的 iptables 在 阻挡 上 很 有 效率 呢 ” 因 为 在 旧版 的 iptables 中 并 没有 这 些 新 模块 功能 ， 导 致 我们 需要 使 用 操作 系统 的 SHELL (比如 netstat) 接口 ， 周 期 性 地 执行 网 络 检查 与 拦阻 动作 。 前 者 只 动 
到 网 络 层 的 资源 ， 而 后 者 已 经 是 应 用 层 的 大 量 (相对 而 言 ) 运算 。 试 想 ， 服 务 器 资源 都 已 被 非法 客户 端 消耗 殖 尽 ， 哪 还 有 余力 周期 性 地 呼叫 软件 层级 的 计算 来 阻挡 非法 客户 端 呢 ? 新 版 的 iptables 增 加 了 
此 模块 后 就 可 以 直接 禁止 恶意 |P， 而 不 再 需要 调用 操作 系统 的 SHELL 接 口 ， 所 以 更 有 效率 。 

























































































接 下 来 测试 一 下 这 个 脚本 的 效果 ， 步 又 如 下 。 


1) 将 这 三 句 话 写成 脚本 形式 ， 方 便 执行 操作 (此 机 器 系统 为 CentOS 6.8 x86 64，IP 为 10.0.0.12) ， 代 码 如 下 : 





#!/bin/bash 

iptables -I INPUT -p tcp --dport 80 -m state --state NEW -m recent --name web --set 

iptables -A INPUT -m recent --update --name web --seconds 60 --hitcount 20 -]j LOG --log-prefix 'HTTP attack: ' 
iptables -A INPUT -m recent --update --name web --seconds 60 --hitcount 20 -j DROP 








执行 结果 如 下 : 
Chain INPUT (policy ACCEPT 53 packets, 3524 bytes) 
pkts bytes target prot opt in out source destination 
0 top :== 过 0.0.0.0/0 0.0.0.0/0 
tcp dpt:80 state NEW recent: SET name: web side: source 
0 0 LOG ll 克 0.0.0.0/0 0.0.0.0/0 


recent: UPDATE seconds: 60 hit count: 20 name: web side: source LOG flags 
0 level 4 prefix “HTTP attack: ' 

0 0 DROP RL = 0.0.0.0/0 0.0.0.0/0 
recent: UPDATE seconds: 60 hit count: 20 name: web side: source 


Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
pkts bytes target prot opt in out source destination 


Chain OUTPUT (policy ACCEPT 28 packets, 2556 bytes) 
pkts bytes target prot opt in out source destination 




















2) 这 台 机 器 开启 了 Apache 服 务 ， 对 外 提供 httpd 服 务 ， 可 以 在 另 一 台 IP 为 10.0.0.13 的 机 器 上 面 运行 Webbench 压 力 测试 工具 来 模拟 非法 攻击 ， 命 令 如 下 : 

















webbench -t 1000 -c 500 http://10.0.0.12/ 





命令 显示 结果 如 下 : 





Webbench - Simple Web Benchmark 1.5 

Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software. 
Request: 

GET / HTTR/1.0 

User-Agent: WebBench 1.5 

Hosts 10.0.012 

Runing info: 500 clients, running 1000 sec. 




















3) 观察 结果 可 以 得 知 ， 在 相当 长 的 时 间 内 (即时 间 为 1000s 的 时 间 段 内 ) ，IP 地 址 为 10.0.0.13 的 机 器 访问 不 了 10.0.0.12 的 Web 服 务 (用 elinks 访 问 的 话 ， 会 提示 “Connection timeout” 的 错误 ) ， 
只 有 过 了 这 段 压力 测试 的 时 间 后 ， 此 机 器 才能 正常 访问 10.0.0.12 的 Web 服 务 ， 证 明 脚 本 是 有 效果 的 。 








此 时 观察 Apache 主 机 上 的 防火 墙 规 则 ， 发 现 很 多 数据 包 都 被 Drop 掉 了 ， 如 下 所 示 : 








Chain INPUT (Policy ACCEPT 2096 packets, 1629K bytes) 
pkts bytes target prot opt in out source destination 
11721 703K top -=— * 尖 0.0.0.0/0 ss 


tcp dpt:80 state NEW recent: SET name: web side: source 
12010 727K LOG ll m= 党 0.0.0.0/0 
recent: UPDATE seconds: A 
level 4 prefix “HTTP attack: ' 
12010 727K DROP 和 % 
recent: UPDATE seconds: 


0.0.0.0/0 
Chain FORWARD (policy ACCEPT 0 packets, 0 bytes) 
pkts bytes target prot opt in out source 


Chain OUTPUT (policy ACCEPT 1246 packets, 228K bytes) 
pkts bytes target prot opt in out source 


60 hit count: 20 name: web side: 


60 hit count: 20 name: web sige: 


0.0.0.0/0 
source LOG flags 0 


0.0.0.0/0 
source 


destination 


destination 











还 可 以 查看 服务 器 的 iptables 日 志 ， 输 入 以 下 命令 即 可 查看 系统 的 最 后 100 条 

















志 (iptables 日 志 默 认 放 在 /varlog/messages 里 ) 





tail -nl100 /var/log/messages 





执行 结果 如 下 : 





52653 DPT=80 WINDOW=457 RES=0x00 ACK PSH URGP=0 

















大 的 情况 ， 比 如 单位 时 间 内 的 并 发 数 超过 2000， 这 时 候 


















































May 21 11:10:14 server : HITP attack: SRC=10.0.0. .0.0.12 LEN=113 TOS=0x00 PREC=0x00 TTL=64 ID=59263 DF 
May 21 11:10:14 server HTTP attack: SRC=10.0.0. .0.0.12 LEN=113 TOS=0x00 PREC=0x00 TTI=64 ID=48259 DE 
May 21 11:10:14 server : HITP attack: SRC=10.0.0. .0.0.12 LEN=113 TOS=0x00 PREC=0x00 TTI=64 ID=9265 DF 
May 21 11:10:14 server HTP attack: SRC=10.0.0. .0.0.12 LEN=113 TOS=0x00 PREC=0x00 TI ID=38952 DE 
May 21 11:10:14 server : HTTP attack: SRC=10.0.0. Oe LEN=52 TOS=0x00 PREC=0x00 ID=16836 DF 
May 21 11:10:14 server HTTP attack: SRC=10.0.0. 0. TOS=0x00 PREC=0x00 ID=24508 DF 
May 21 11:10:14 server HTTP attack: SRC=10.0.0. a0.0. TOS=0x00 PREC=0x00 ID=7479 DF EF 
May 21 11:10:14 server HETP attack: SRC=10.0.0. 0.0. TOS=0x00 PREC=0x00 ID=28075 DF 
May 21 11:10:14 server HTTP attack: SRC=10.0.0. 本 TOS=0x00 PREC=0x00 ID=16022 DF 
May 21 11:10:16 server HTTP attack: SRC=10.0.0. "Dt TOS=0x00 PREC=0x00 ID=28076 DF 
May 21 11:10:16 server » HITP attack: SRC=10.0.0. sa0s0: a PREC=0x00 ID=16023 DF 
May 21 11:10:16 server :HITP Attack: SRC=10.0.0. 00 PREC=0x00 ID=16837 DF 
May 21 11:10:16 server HTTP attack: SRC=10.0.0. OQ TOS=0x00 PREC=0x00 ID=24509 DF 
May 21 11:10:16 server kernel: HTTP attack: IN=ethl SRC=10.0.0. aQ.0.12 TEN-64 TOS=0x00 PREC=0x00 ID=7480 DF EF 
我 们 监测 到 大 量 带 有 HTTP attack 日 志 头 的 iptables 日 志 ， 如 果 在 工作 中 发 现 此 1P 数 量 重复 很 多 ， 直 接 用 iptables-! 命 令 将 其 禁止 掉 ， 防 止 它 下 次 又 重新 发 包 攻击 。 

值得 注意 的 是 ，iptables 的 recent 模 块 功能 虽然 强大 ， 但 它 并 不 适用 于 有 些 基于 LVS+ Keepalived 的 Linux 集 群 环境 ， 这 是 因为 后 端的 Web 都 是 通过 前 端的 LVS 负 载 均衡 器 来 连接 的 ， 有 时 遇 到 并 发 数 较 





























大 家 都 知道 





recent 模 块 肯定 不 行 ， 另 外 为 了 数据 包 转 包 的 高 效 性 ， 往 往 要 在 采 


7.9.4 利用 DenyHosts 工 具 和 脚本 来 防止 SSH 暴 力 破解 


和 试探 ， 于 是 想到 了 DenyHosts 工 具 ， 














笔者 











Nagios 外 网 监控 服务 器 进 和 











它 是 

















该 IP 的 目的 。 




















于 测试 时 设置 的 密码 是 redhat123456， 但 是 放 进 公 网 的 第 一 天 就 被 其 他 人 采 
Python2.3 写 的 一 个 程序 ， 会 分 析 /var/log/secure 等 日 志文 件 ， 当 发 现 同一 IP 在 进行 多 次 SSH 密 码 尝 试 时 就 会 记录 IP 到 /etc/hosts.deny 文 件 上 ， 从 而 达到 自动 


DenyHosts 官 方 下 载 地 址 为 : https://github.com/denyhosts/denyhosts/releases。 


安装 DenyHosts 的 详细 步骤 如 下 。 
1. 检 查 安装 条 件 


1) 首先 判断 系统 安装 的 sshd 是 否 支 持 tcp_wrappers (默认 都 支持 ) 


命令 如 下 : 




















LVS+Keepalived 集 群 架 构 中 的 机 器 上 关 掉 iptables 防 火 墙 

















，LVS/DR 模 式 是 基于 公 网 地 址 的 ， 现 在 SSH 暴 力 破 解 工具 比比 皆 是 ， 我 们 又 应 该 如 何 采用 简单 有 效 的 方法 来 防止 SSH 暴 力 破解 呢 ? 























暴力 破解 的 手段 更 改 了 root 密 码 ， 后 来 环境 部 署 成 熟 以 后 发 现 仍 然 有 不 少 外 网 IP 在 扫描 




















ldd /usr/sbin/sshd | grep libwrap.so.0 
libwrap.so.0 => /1ib64/libwrap.so.0 (0x00007f018d14dq000) 





2) 然后 判断 默认 安装 的 Python 版 本 ， 命 令 如 下 : 





Python -V 





命令 显示 结果 如 下 : 





Python 2.6.6 





CentOS 6.8x86_64 已 默认 安装 了 Python 2.6.6。 





2. 安 装 及 配置 DenyHosts 工 具 
在 确认 系统 已 安装 Python2.3 以 上 版 本 的 情况 下 ， 执 行 以 下 步骤 。 


1) 安装 DenyHosts， 命 令 如 下 : 





cd /usr/local/src 


wget https://github.com/denyhosts/denyhosts/archive/v3.1.tar.gz 


tar wuf v3,1tardgz 
cd denyhosts-3.1 
python setup.py install 





2) 将 源码 目录 中 的 denyhosts.cfg 文 件 拷贝 到 /etc 目 录 ， 


命令 如 下 所 示 : 





cp/usr/local/src/denyhosts-3.1/denyhosts.cfg /etc/ 











此 时 ， 我 们 可 以 根据 自己 的 需要 对 文件 denyhosts.cfg 进 行 相应 的 修改 ， 具 体 配 置 如 下 : 





SECURE LOG = /var/log/auth.1log 





上 面 表示 Centos 系 统 中 安全 日 志 的 文件 位 置 。 





HOSTS DENY = /etc/hosts.deny 





DENY 配 置 读 取 的 是 系统 的 /etc/hosts.deny 文 件 。 





PURGE_ DENY = 30m 





表示 过 多 久 后 清除 。 





DENY THRESHOLD INVALID = 5 





表示 人 允许 无 效用 户 (/etc/passwd 未 列 出 ) 登录 失败 的 次 数 。 





DENY_ THRESHOLD VALID = 10 





表示 人 允许 有 效 (普通 ) 用 户 登录 失败 的 次 数 。 





DENY_ THRESHOLD ROOT = 1 





表示 允许 root 登 录 失败 的 次 数 。 





HOSTNAME, LOOKUP=NO 





表示 是 否 做 域名 反 解 。 





3) 启动 DenyHosts 工 具 ， 可 以 参考 官方 网 站 的 文档 ， 地 址 为 : 
https://github.com/denyhosts/denyhosts/blob/master/README.md, 


具体 配置 步骤 如 下 : 





cp daemon-control-dist daemon-control 





然后 编辑 daemon-control 文 件 ， 修 改 内 容 如 下 所 示 : 





DENYHOSTS_BIN 
DENYHOSTS LOCK 
DENYHOSTS_CFG 


"/usr/bin/denyhosts.py" 
"/var/lock/subsys/denyhosts" 
"/etc/denyhosts.conf™ 





然后 执行 如 下 步骤 ， 进 行 授权 等 操作 : 





Chown root daemon-control 
chmod 700 daemon-control 





最 后 执行 以 下 命令 来 启动 denyhosts 程 序 : 





./daemon-control start 





执行 的 时 候 如 果 有 以 下 报错 : 





starting DenyHosts : /usr/bin/env Python /usr/bin/denyhosts.py --daemon --config=/etc/denyhosts.conf 
Can't read: /var/log/auth.log 

[Errno 2] No such file or directory: '/var/log/auth.1og' 

Error deleting DenyHosts lock file: /var/run/denyhosts.pid 

[Errno 2] No such file or directory: '/var/run/denyhosts.pid' 

[root@server denyhosts-3.1]# touch /var/log/auth.1log 

[root@server denyhosts-3.1]# ./daemon-control start 

starting DenyHosts: /usr/bin/env Python /usr/bin/denyhosts.py --daemon --config=/etc/denyhosts.conf 











记得 提前 建立 denyhosts 的 日 志文 件 以 修正 此 错误 ， 如 下 所 示 : 














touch /var/log/auth.1log 





然后 使 用 下 面 的 命令 启动 DenyHosts， 如 下 所 示 : 





/usr/share/denyhosts/daemon-control start 








如 果 要 使 DenyHosts 每 次 重启 后 自动 启动 ， 还 需 做 如 下 设置 : 





# cd /etc/init.d 

ln -s /usr/share/denyhosts/daemon-control denyhosts 
chkconfig --add denyhosts 

chkconfig --level 345 denyhosts on 





启动 命令 如 下 : 





service denyhosts start 





4) 如 果 希 望 DenyHosts 随 开机 启动 ， 可 以 执行 如 下 操作 : 





cd /etc/init.d 


ln -s /usr/share/denyhosts/daemon-control denyhosts 
chkconfig --add denyhosts 




















DedyHosts 的 原理 很 简单 ， 就 是 收集 /var/log/secure 的 信息 ， 如 果 用 户 登录 失败 的 次 数 超 过 配置 文件 规定 的 次 数 ， 则 将 其 写 进 /etc/hosts.deny 文 件 中 ， 从 而 达到 禁止 访问 的 目的 。 











通常 ， 通 过 SSH 登 录 远 程 服务 器 时 ， 使 用 密码 认证 ， 分 别 输入 用 户 名 和 密码 ， 两 者 满足 一 定 规则 就 可 以 登录 。 但 是 密码 认证 有 以 下 缺点 : 





器 


码 配 置 过 长 容易 遗忘 密码 ， 比 如 笔者 公司 内 部 的 开发 服务 器 经 常 就 有 进入 单 用 户 改 root 密 码 的 需求 。 

“ 简单 密码 容易 被 人 采用 暴力 手段 破解 。 

. 服务 器 上 的 一 个 账户 若 要 给 多 人 使 用 ， 则 必须 让 所 有 使 用 者 知道 密码 ， 导 致密 码 容 易 泄露 ， 而 且 如 果 有 系统 管理 员 离职 ， 修 改 密码 时 必须 通知 所 有 人 。 
: 而 使 用 公 钥 认证 则 可 以 解决 上 述 问题 ， 其 优点 如 下 

“ 公 钥 认证 允许 使 用 空 密 码 ， 省 去 每 次 登录 都 需要 输入 密码 的 麻烦 。 

“ 多 个 使 用 者 可 以 通过 各 自 的 密 钥 登 录 到 系统 上 的 同一 个 用 户 。 

“ 用 户 的 私 匙 可 以 加 密 ， 安 全 系数 高 。 


“方便 自动 化 运 维 部 署 。 




















综 上 所 述 ， 建 议 大 家 采用 SSH key 认 证 登录 的 方式 来 代替 传统 的 密码 登录 验证 的 方式 。 


7.10 工作 中 的 Linux 防 火 墙 总 结 








以 下 是 笔者 在 工作 中 使 用 iptables 后 得 到 的 总 结 。 






































1) iptables 防 火 墙 并 不 能 阻止 DDOS 攻 击 ， 建 议 在 项 目 实施 中 采购 硬件 防火 墙 ， 并 将 其 置 于 整个 系统 之 前 ， 用 于 防 DDOS 攻 击 和 端口 映射 。 如 果 对 安全 有 特殊 要 求 ， 可 再 加 上 应 用 层级 的 防火 墙 ， 如 天 
泰 应 用 防火 墙 ， 其 功能 会 更 强大 。 应 用 层级 的 防火 墙 能 够 基于 对 数据 报 文 头 部 和 载荷 的 完整 检测 ， 对 Web 应 用 客户 端 输入 进行 验证 ， 从 而 对 各 类 已 知 及 新 兴 的 Web 应 用 威胁 提供 全 方位 的 防护 ， 如 SQL 注 
入 、 跨 站 脚本 、 蠕 虫 、 黑 客 扫描 和 攻击 等 。 












































































































































2) 如 果 线 上 的 机 器 启用 了 LVSVDR 集 群 架构 方案 ， 建 议 关闭 iptables 防 火 墙 ， 这 样 做 的 目的 是 更 好 地 提高 后 端 服务 器 的 网 络 性 能 ， 方 便 数 据 流 在 整个 业务 系统 内 部 流通 。 


















































3) 线 上 的 机 器 (包括 AWS EC2 云 主机 ) 一 般 都 有 公 网 和 内 网 两 个 IP 地 址 ， 除 了 Web 对 外 的 业务 ( 即 80 和 443) 对 公 网 开放 以 外 ， 其 他 数据 尽量 不 要 对 公 网 开放 ， 走 内 网 地 址 ， 比 如 MySQL 或 Redis 业 
务 等 (也 包括 SSH 服 务 ) 。 














4) iptables 的 [是 命令 ， 而 -v 和 -n 只 是 选项 ， 它 们 不 能 进行 组 合 ， 如 -Lvn。 如 果 要 列 出 防火 墙 详细 规则 ， 可 采用 iptables-nv-! 或 iptables-n-v-L。 























5) 如 果 使 用 远程 调试 iptables 防 火 墙 ， 最 好 设置 Crontab 作 业 定时 停止 防火 墙 ， 以 防止 自己 被 锁定 ，5 分 钟 停止 一 次 iptables 即 可 ， 等 整个 脚本 完全 稳定 后 再 关闭 此 Crontab 作 业 。 















































6) 如 果 使 用 默认 禁止 一 切 策略 ， 在 写 防火 墙 策略 时 应 该 开放 回环 接口 lo (因为 禁止 一 切 就 包括 了 lo 回环 口 ) ， 回 环 接口 lo 在 Linux 系 统 中 被 用 来 作为 提供 本 地 、 基 于 网 络 服务 的 专用 网 络 接口 ， 不 
过 网 络 接口 驱动 器 发 送 本 地 数据 流 ， 而 是 采用 操作 系统 通过 回环 接口 发 送 ， 这 大 大 提高 了 性 能 ， 且 关闭 lo 也 会 带 来 一 些 莫名 其 妙 的 问题 ， 所 以 iptables 脚 本 建议 开启 lo 回环 接口 。 












































半 



































7) 如 果 是 电信 、 双 线 或 BGP 机 房 托 管 的 服务 器 ， 在 没有 配置 前 端 硬件 防火 墙 的 情况 下 ， 建 议 一 定 要 开启 Linux 机 器 的 iptables 防 火 墙 。 








8) 如 果 经 费 足 够 ， 最 前 端的 硬件 防火 墙 最 好 也 做 双 机 宛 余 ， 防 止 单 防火 墙 出 问题 导致 整个 网 站 Crash， 防 火 墙 跟 人 一 样 ， 总 有 项 不 住 压 力 的 时 候 ， 如 果 有 双 机 的 话 ， 网 站 出 问题 的 几率 会 大 大 减 小 。 















































9) 工作 中 可 以 利用 iptables 加 上 TCP_wrappers 双 结合 的 方法 来 对 主机 进行 防护 ， 如 果 说 iptables 是 基于 IP 进 行 过 滤 ， 那 么 TCP_wrappers 就 是 一 种 应 用 级 的 防火 墙 ( 下 一 章节 会 详细 介绍 ) ， 两 者 相 结 
合 后 会 进一步 提高 Linux 系 统 的 安全 性 。 















































10) 如 果 业 务 机 器 需要 放置 于 公 网 ， 建 议 不 要 用 标准 22 端 口 提供 对 外 服务 ， 可 以 改 成 自 定义 的 端口 ， 防 止 一 些 恶意 的 暴力 破解 攻击 手段 。 如 果 有 可 能 ， 不 要 开放 密码 登录 ， 走 公私 钥 SSH key 的 方式 。 
iptables 除 了 开放 必要 的 服务 以 外 ， 禁 止 一 切 INPUT 链 接 。 






































在 上 面 的 iptables 相 关 环 节 里 ， 主 要 向 大 家 介绍 了 工作 中 iptables 经 常 涉及 的 部 分 ， 而 iptables 的 mangle 链 以 及 iptables 的 模块 开发 并 没有 涉及 ， 这 个 在 平时 的 工作 中 用 得 较 少 ， 有 兴趣 的 朋友 可 以 自行 
研究 。 如 果 环境 允许 ， 可 以 多 熟悉 下 硬件 防火 墙 的 性 能 和 特点 ， 这 些 在 我 们 的 工作 中 很 有 可 能 涉及 。 














7Z11 -本 和 结 








本 章 向 大 家 详细 介绍 了 iptables 和 TCP_wrappers 的 语法 ， 并 演示 了 生产 环境 下 的 iptables 安 全 脚本 及 其 在 AWS EC2 主 机 中 的 应 用 。 然 后 向 大 家 介绍 了 一 些 比较 实用 的 安全 工具 ， 比 如 命令 行 抓 包 工 


TCPDump、 图 形 化 抓 包 工具 wireshark， 以 及 安全 扫描 工具 namp 和 hping， 并 且 总 结 了 Linux 服 务 器 在 工作 中 可 采取 的 安全 措施 ， 希 望 大 家 通过 本 章 内 容 的 学 习 能 对 系统 安全 防护 概念 有 所 了 解 ， 掌 握 
Linux 服 务 器 防护 技巧 并 且 编 写 适 合 自己 服务 器 的 iptabales 安 全 脚本 。 














































































































第 8 章 Linux 系统 安全 相关 篇 











了 解 iptables 防 火 墙 后 ， 大 家 可 能 会 对 它 强 大 的 |P 过 滤 功 能 感到 惊叹 ， 但 是 在 日 常 工作 中 ， 有 时 仅仅 过 滤 IP 满 足 不 了 我 们 的 工作 需求 ， 因 此 ， 这 里 再 介绍 一 种 Linux 
的 TCP_wrappers。 
































卫 

















级 别 的 防火 墙 ， 它 就 是 强大 








8.1 TCP_ wrappers 应 用 级 防火 墙 的 介绍 和 应 用 





我 们 为 什么 总 说 Linux 服 务 器 安全 呢 ?” 大 家 可 以 通过 下 面 的 流程 看 出 ， 一 个 客户 端 访问 Linux 服 务 器 的 资源 ， 其 实 也 是 一 件 不 容易 的 事情 ， 它 需要 突破 








Linux 系 统 访问 控制 的 流程 如 下 : 





客户 端 一 iptables 一 TCP_wrappers 一 服务 本 身 的 访问 控制 





具体 说 明 如 下 : 























加 





屋 封 锁 和 权限 控制 |。 


.iptables: 基于 原 IP、 目 的 IP、 原 端口 、 目 的 端口 进行 控制 。 


“ TCP_wrappers: 对 服务 的 本 身 进行 控制 。 


“ Service 本 身 的 控制 : 对 行为 进行 控制 〈 它 会 结合 文件 和 目录 权限 做 更 细致 的 控制 ) 。 

















需要 注意 的 是 ， 一 些 特殊 的 应 用 服务 是 不 受 TCP_wrappers 控 制 的 ， 例 如 httpd 和 samba， 有 兴趣 的 朋友 可 以 通过 相关 实验 进行 验证 。 


TCP_wrappers 是 根据 /etc/hosts.allow 及 /etc/hosts.deny 两 个 文件 来 判断 上 
来 分 析 进 入 系统 的 TCP 封 包 的 一 个 软件 ， 它 是 由 TCP wrappers 提 供 的 。 那 为 什么 叫做 TCP_wrappers 呢 ?其 中 wrappers 有 包 襄 的 意思 
提 到 网 络 的 封包 资料 是 以 TCP 封 包 为 主 的 ， 这 个 TCP 封 包 的 档 头 至 少 记录 了 来 源 与 目的 主机 的 IP 与 PORT， 因 




















Tcp_wrappwes 的 访问 控制 主要 通过 以 下 两 个 文件 实现 : 




















户 是 否 能 够 访问 服务 器 资源 。 其 实 ，/etc/hosts.allow 与 /etc/hosts.deny 是 /usr/sbin/tcpd 的 设 定 档 ，/usr/sbin/tcpd 则 是 








思 ， 也 就 是 说 ， 这 个 软件 本 身 的 功能 就 是 分 析 TCP 网 络 资料 封包 。 前 重 
此 ， 通 过 分 析 TCP 封 包 ， 就 可 以 判断 是 否 允 许 让 这 个 客户 端 访问 服务 器 资源 。 


























/etc/hosts.allow 
/etc/hosts.deny 

















/etc/hosts.allow 用 于 定义 允许 的 访问 ，/etc/hosts.deny, 














于 定义 拒绝 的 访问 。 








先 来 了 解 一 下 TCP_wrappers 的 访问 控制 判断 顺序 ， 如 果 客 


受 此 IP; 如 果 不 存在 ， 则 继续 比 对 /etc/hosts.deny 列 表 ， 如 果 存 在 于 hosts.deny 列 表 里 ， 则 





晰 ， 建 议 大 家 也 以 此 流程 图 进行 记忆 。 











其 实 ， 在 /etc/hosts.allow 里 也 可 以 定义 拒绝 的 访问 ，/etc/hosts.deny 也 可 以 定义 允许 的 访问 ， 但 不 推荐 大 家 这 样 操作 ， 为 什么 我 们 要 将 简单 的 问题 复杂 化 呢 ? 

















户 端 IP 在 通过 iptables 防 火 墙 后 想 访问 我 们 服务 器 的 资源 ， 系 统 会 查看 此 客户 端 请 求 IP 是 否 存在 于 /etc/hosts.allow 列 表 里 ， 如 果 存 在 ， 则 接 
巨 绝 此 IP 请 求 ， 如 果 此 IP 在 两 个 文件 里 都 不 存在 ， 则 接受 此 IP 请 求 。 其 工作 流程 如 图 8-1 所 示 。 此 流程 图 逻辑 清 



































图 8-1 TCP_wappers 工 作 流 程 图 


TCP_wappers 的 语法 格式 如 下 : 





<service>:<IP, domain, hostnamehttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/...>:<allow|deny> 





其 语法 很 简单 ， 前 面 接 服务 名 ， 中 间 是 冒号 ， 后 面 是 IP 或 IP 段 ， 最 后 的 allow 或 deny 可 以 省 略 。 这 里 也 跟 大 家 分 享 一 个 小 知识 : 在 Linux 系 统 里 ， 点 分 十 进 制 是 除了 iptables 外 ， 支 持 所 有 服务 的 语法 ， 
比如 我 们 可 以 /etc/hosts.allow 里 写 上 如 下 内 容 : 





sshd:192.168.1.0/255.255.255.0 





即 表示 此 服务 器 接受 所 有 来 自 192.168.1.0/255.255.255.0 网 段 机 器 的 SSH 请 求 。 下 面 请 大 家 思考 一 个 比较 复杂 的 问题 ， 如 果 一 个 IP 既 存在 于 /etc/hosts.allow 中 ， 又 存在 于 /etc/deny 中 (例如 
192.168.1.102 这 个 IP 既 存在 于 服务 器 192.168.1.104 的 /etc/hosts.allow 中 ， 也 存在 于 /etc/hosts.deny 中 ) ， 那 么 这 个 IP 会 被 服务 器 接受 吗 ? 其 实 使 用 上 面 的 流程 图 判断 就 可 以 得 出 结论 ，192.168.1.104 人 允 
许 192.168.1.102 的 机 器 SSH 登 录 。 


那么 ,我 们 该 如 何 利 用 TCP_wappers 呢 (测试 机 器 为 CentOS 6.8 x86 64) ? 


一 些 比较 复杂 的 服务 (例如 NFS 服 务 ) 在 与 客户 端 通信 时 会 打开 几 个 端口 ， 如 果 不 在 配置 文件 里 做 修改 ， 它 通信 的 端口 会 与 vsftpd 服 务 的 被 动 模式 一 样 ， 也 就 是 说 端口 都 是 随机 的 ， 这 样 我 们 用 iptables 
来 做 安全 策略 时 非常 麻烦 ， 不 过 ， 如 果 通 过 TCP_wappers 来 设置 相应 的 限制 策略 就 会 非常 容易 ， 例 如 通过 配置 /etc/hosts.deny 文 件 来 限制 192.168.1.102 的 机 器 访问 本 机 的 NFS 资 源 ， 可 以 按 如 下 方式 编 
辑 /etc/hosts.deny 文 件 ， 添 加 内 容 如 下 所 示 : 





rpcbind:192.168.1.102 









































如 果 要 使 用 iptables 防 火 墙 的 IP+ 端 口 的 防护 方法 ， 至 少 要 先 通过 抓 包 弄 清楚 NFS 的 端口 问题 才能 够 写 iptables 的 规则 ， 但 如 果 是 利用 TCP_wrappers 则 可 以 轻松 地 完成 这 个 工作 ， 可 以 说 TCP_wrappers 
是 iptables 最 好 的 补充 手段 之 一 ， 所 以 很 多 朋友 也 称 其 为 应 用 级 防火 墙 。 我 们 在 做 好 服务 器 的 防护 工作 时 ， 可 以 利用 iptables 防 火 墙 +TCP_wrappers 的 方法 对 服务 器 资源 进行 保护 ， 这 样 其 安全 性 也 可 进 一 
步 增 强 。 
























































注 
centos s.8 x86_64 下 面 的 portmap 服 务 在 CentOS 6.8 下 面 更 改 为 tpcbind， 请 大 家 注意 不 同 的 Linux OS 之 间 的 差别 。 














到 目前 为 止 ， 我 们 已 经 知道 了 如 何 使 用 iptables+TCP_wrappers 建 造 及 维护 一 个 Linux 系 统 IP 级 及 应 用 级 的 防火 墙 ， 它 在 防范 外 部 攻击 时 能 取得 非常 好 的 效果 ， 但 它 防范 不 了 来 自 防火 墙 内 部 的 攻击 。 这 
个 时 候 可 以 利用 Linux 自 身 的 SELinux 机 制 来 强化 内 核 ， 使 我 们 的 计算 机 更 加 安全 。 


















































8.2 ”DDos 攻 击 和 运营 商 动 持 











在 笔者 完稿 的 这 段 时 间 内 ，WannaCry (比特 币 敲 诈 病 毒 ) 正在 全 球 泛滥 ， 给 大 家 带 来 了 巨大 的 麻烦 和 损失 。 而 在 笔者 从 事 的 CDN 行 业 ，DDos 攻 击 和 劫持 攻击 出 现 的 频率 也 很 高 ， 此 外 ， 还 有 之 前 的 
暴力 破解 和 针对 Web 层 的 攻击 ， 所 以 系统 安全 是 一 个 非常 重要 的 环节 和 手段 。 









































器 








， 雇 佣 了 200 人 来 这 个 饭店 坐 着 不 吃 不 喝 ， 导 致 饭店 满 ; 





乎 的 例子 就 能 明白 : 某 饭店 可 以 容纳 100 人 同时 就 餐 ， 某 日 有 个 商家 恶意 








DDos 攻 击 就 不 多 说 了 ， 应 该 是 大 家 都 很 熟悉 的 攻击 手段 ， 引 用 久 
当当 无 法 正常 营业 。 (DDOS 攻 击 成 功 ) 

















如 








老板 当即 大 她 ， 派 人 把 不 吃 不 喝 影响 正常 营业 的 人 全 都 艇 了 出 去 ， 且 不 再 让 他 们 进来 捣乱 ， 饭 店 恢复 了 正常 营业 。 (添加 规则 和 黑 名 单 进行 DDOS 防 御 ， 防 御 成 功 ) 











主动 攻击 的 商家 心 存 不 满 ， 这 次 请 了 五 干 人 分 批 次 过 来 捣乱 ， 导 致 该 饭店 再 次 无 法 正常 营业 。 (增加 DDOS 流 量 ， 改 变 攻击 方式 ) 








饭店 把 那些 的 乱 的 人 龙 出 去 之 后 ， 另 一 批 接 旺 而 来 。 此 时 老板 将 饭店 营业 规模 扩大 ， 该 饭店 可 同时 容纳 1 万 人 就 餐 ，5000 人 同时 来 的 乱 也 不 会 影响 饭店 营业 。 (增加 硬 防 与 其 抗衡 ) 











一 般 普通 的 网 站 很 难 防止 DDos 攻 击 ， 像 笔者 目前 的 公司 ， 因 为 带宽 与 机 房 资源 比较 雄厚 ， 所 以 一 般 会 通过 前 端 LVS 切 量 的 方式 来 转移 DDos 流 量 ， 从 而 达到 减少 DDos 攻 击 带 来 的 损失 。 


这 里 主要 说 下 运营 商 劫持 。 








运营 商 的 动 持 主要 分 DNS 支 持 和 HTTP 支 持 两 种 。 














简单 介绍 一 下 DNS 劫持 和 HTTP 劫 持 的 概念 ， 也 就 是 运 莒 商 通过 某 些 方式 篡改 了 用 户 正常 访问 的 网 页 ， 插 入 广告 或 者 其 他 一 些 杂 七 杂 八 的 东西 。 

















首先 对 运营 商 的 动 持 行为 做 一 些 分 析 ， 他 们 的 目的 无 非 就 是 赚钱 和 节约 成 本 ( 即 减少 出 网 流量 ， 少 掏 成 本 ) ， 而 赚钱 的 方式 有 两 种 : 
“ 对 正常 网 站 加 入 额外 的 广告 ， 这 包括 网 页 内 浮 层 或 弹出 广告 窗口 。 


“ 针对 一 些 广告 联盟 或 带 推广 链接 的 网 站 ， 加 入 推广 尾巴 。 





在 具体 的 做 法 上 ， 一 般 分 为 DNS 动 持 和 HTTP 动 持 。 


1.DNS 动 持 








一 般 而 言 ， 用 户 上 网 的 DNS 服务 器 都 是 运营 商 分 配 的 ， 所 以 在 这 个 节点 上 运营 商 可 以 为 所 欲 为 。 



































例如 ， 访 问 http:Wjiankang.qq.coryindex.html， 正 常 DNS 应 该 返回 腾讯 的 ip， 而 DNS 劫持 后 ， 会 返回 一 个 运营 商 的 中 间 服 务 器 jp。 访问 该 服务 器 会 一 致 性 地 返回 302， 让 用 户 浏览 器 跳 转 到 预 处 理 好 
的 带 广告 的 网 页 ， 然 后 在 该 网 页 中 通过 iframe 打 开 用 户 原来 访问 的 地 址 。 


























这 种 情况 在 小 ISP 运 营 商 处 比较 常见 ， 这 个 比较 难处 理 ， 尤 其 是 托管 了 DNS 服 务 的 ,我 们 一 般 的 做 法 是 更 改 DNS 设 备 的 常规 服务 端口 ， 比 如 将 常规 的 53 改 成 5353。 最 直接 有 效 的 措施 是 直接 进行 投诉 处 
理 , 一 般 情况 下 ， 运 营 商 是 会 处 理 的 (投诉 到 工信部 ， 这 也 是 1SP 运 营 商 不 愿意 看 到 的 ) 。 











2.HTTP 动 持 


























在 运营 商 的 路 由 器 节点 上 设置 协议 检测 ， 一 旦 发 现 是 HTTP 请 求 ， 而 且 是 HTTP 类 型 请 求 ， 拦 截 处 理 。 后 续 做 法 往往 分 为 两 种 ， 第 一 种 是 类 似 DNS 劫 持 返 回 302 让 用 户 浏览 器 跳 转 到 另外 的 地 址 ， 另 外 一 
种 做 法 是 在 服务 器 返回 的 HTML 数 据 中 插入 JS 或 DOM 节 点 (广告 ) 。 






































在 用 户 角度 ， 这 些 劫持 的 表现 分 为 : 





“ 网 址 被 无 章 跳 转 ， 多 了 推广 尾巴 。 


“页面 出 现 额 外 的 广告 (IFRAM 模 式 或 者 直接 同 页 面 插入 DOM 节 点 ) 。 








解决 方法 : 最 根本 的 解决 办 法 是 使 用 HTTPS， 不 过 这 个 涉及 很 多 业务 的 修改 ， 成 本 很 高 。 








参考 文档 : http://www.cnblogs.com/kenkofox/p/4919668.html。 


8.3 Linux 服 务 器 的 安全 防护 








综 上 所 述 ，Linux 的 系统 安全 其 实 是 一 件 重要 而 且 不 容 忽视 的 问题 ， 那 么 我 们 平时 在 Linux 系 统 的 运 维 工作 中 怎样 进行 安全 防护 工作 呢 ? 





8.3.1 Linux 服 务 器 基础 防护 篇 




















现在 许多 生产 服务 器 都 是 放置 在 IDC 机 房 的 ， 有 的 并 没有 专业 的 硬件 防火 墙 保护 ， 我 们 应 该 如 何 做 好 其 基础 的 安全 措施 呢 ? 个 人 认为 应 该 从 如 下 方面 着 手 。 

















1) 首先 要 保证 自己 的 Linux 服 务 器 的 密码 绝对 安全 ， 笔 者 一 般 将 root 密 码 设置 为 28 位 以 上 ， 而 且 某 些 重要 的 服务 器 只 有 几 个 人 知道 root 密 码 ， 这 根据 公司 管理 层 的 权限 来 设置 ， 如 果 有 系统 管理 员 级 别 
的 相关 人 员 离 职 ，root 密 码 一 定 要 更 改 。 现 在 我 们 的 做 法 一 般 是 禁止 root 远 程 登录 ， 只 分 配 一 个 具有 sudo 权 限 的 用 户 。 服务 器 的 账号 管理 一 定 要 严格 ， 服 务 器 上 除了 root 账 号 外 ， 系 统 用 户 越 少 越 好 ， 如 果 
非 要 添加 用 户 作为 应 用 程序 的 执行 者 ， 请 将 他 的 登录 Shell 设 为 nologin， 即 此 用 户 没 有 权利 登录 服务 器 。 终 止 未 授权 用 户 ， 定 期 检查 系统 有 无 多 余 的 用 户 都 是 很 有 必要 的 工作 。 另 外 ， 像 vsftpd、Samba 及 
MySQL 的 账号 也 要 严格 控制 ， 尽 可 能 只 给 他 们 基本 工作 需求 的 权限 ， 而 像 MySQL 等 的 账号 ， 不 要 给 任何 用 户 grant 权 限 。 针 对 公司 运营 人 员 提 出 的 查询 报表 功能 ， 我 们 可 以 在 跳板 机 上 面 开启 SSH 隧 道 ， 从 
而 达到 访问 后 端 MySQl 数 据 库 的 目的 。 如 果 公司 有 条 件 的 话 ， 可 以 配合 前 端 人 员 开发 相关 的 界面 功能 ， 尽 量 减 小 非 运 维 人 员 登 陆 Linux 服 务 器 的 几率 。 
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2) 防止 SSH 暴 力 破解 是 一 个 老生 常 谈 的 问题 ， 解 决 这 个 问题 有 许多 种 方法 : 有 的 朋友 喜欢 用 iptables 的 recent 模 块 来 限制 单位 时 间 内 SSH 的 连接 数 ， 有 的 用 DenyHost 防 SSH 暴 力 破解 工具 ， 尽 可 能 采 
部 署 服务 器 密 钥 登 录 的 方式 ， 这 样 就 算 对 外 开放 SSH 端 口 ， 暴 力 破解 也 完全 没有 用 武之 地 。 


















































3) 分 析 系 统 的 日 志文 件 ， 寻 找 入 侵 者 曾经 试图 入 侵 系 统 的 蛛丝马迹 。last 命 令 是 另外 一 个 可 以 用 来 查找 非 授权 用 户 登录 事件 的 工具 。last 命 令 输入 的 信息 来 自 /var/log/wtmp， 这 个 文件 详细 地 记录 着 
每 个 系统 用 户 的 访问 活动 。 但 是 有 经 验 的 入 侵 者 往往 会 删 掉 /varlog/wtmp 以 清除 自己 非法 行为 的 证 据 ， 但 是 这 种 清除 行为 还 是 会 露出 蛛丝马迹 : 在 日 志文 件 里 留 下 一 个 没有 退出 的 操作 和 与 之 对 应 的 登录 
操作 (虽然 在 删除 wtmp 的 时 候 没 有 了 登录 记录 ， 但 是 待 其 登 出 的 时 候 ， 系 统 还 是 会 把 它 记 录 下 来 ) ， 不 过 高 明 的 入 侵 者 会 用 at 或 crontab 等 自己 登 出 之 后 再 删除 文件 。 



































































































































4) 建议 不 定期 用 grep error/var/log/messages 检 查 自己 的 服务 器 是 否 存 在 硬件 损坏 的 情况 。 以 笔者 之 前 的 运 维 经 验 而 言 ， 由 于 Linux 服 务 器 长 年 搁置 在 机 房 中 ， 最 容易 损坏 的 就 是 硬盘 和 风 房 ， 因 此 
在 进行 日 常 维护 时 要 注意 这 些 方面 ， 最 好 是 组 织 运 维 同事 定期 巡视 我 们 的 IDC 托 管 机 房 ， 出 现 相关 问题 时 要 及 时 处 理 。 

































































5) 建议 不 定期 使 用 Chkrootkit 应 用 程序 对 rootkit 的 踪迹 和 特征 进行 查找 ， 我 们 可 以 从 它 的 报告 中 分 析 服务 器 否 已 经 感染 木马 。 















































6) 推荐 使 用 Tiprwire 开 源 软件 来 检查 文件 系统 的 完整 性 ， 并 做 好 相应 的 日 志 分 析 。 


7) 停 掉 一 些 系统 不 必要 的 服务 ， 强 化 内 核 。 多 关注 服务 器 的 内 核 漏洞 ， 现 在 Linux 的 很 多 攻击 都 是 针对 内 核 的 ， 尽 量 保证 内 核 版 本 是 最 新 的 。 


8.3.2 Linux 服 务 器 高 级 防护 篇 
































另外 ， 我 们 还 可 以 设计 代码 级 别 的 WAF 软 件 防火 墙 ， 主 要 由 ngx_lua 模 块 实现 ， 由 于 LUA 语 言 的 性 能 接近 于 C 语 言 ， 而 且 ngx_lua 模 块 本 身 就 是 基于 为 Nginx 开 发 的 高 性 能 的 模块 ， 所 以 性 能 方面 很 好 ， 
可 以 实现 如 下 功能 的 安全 防护 : 


























“ 支持 IP 白 名 单 和 黑 名 单 功能 ， 直 接 将 黑 名 单 的 IP 访 问 拒 绝 。 

:支持 URL 白 名 单 ， 将 不 需要 过 滤 的 URL 进 行 定 义 。 

“ 支持 User-Agent 的 过 滤 ， 匹 配 自 定义 规则 中 的 条 目 ， 然 后 进行 处 理 ， 返 回 403。 

:支持 CC 攻击 防护 ， 单 个 URL 指 定时 间 的 访问 次 数 超过 设 定 值 ， 直 接 返 回 403。 

“ 支持 Cookie 过 滤 ， 匹 配 自 定义 规则 中 的 条 目 ， 然 后 进行 处 理 ， 返 回 403。 

“ 支持 URL 过 滤 ， 匹 配 自 定 义 规则 中 的 条 目 ， 如 果 用 户 请 求 的 URL 包 含 这 些 ， 返 回 403。 


“ 支持 URL 参 数 过 滤 ， 原 理 同上 。 





“ 支持 日 志 记 录 ， 将 所 有 拒绝 的 操作 记录 到 日 志 中 。 


1.WAF 的 特点 








WAF 级 Web 应 用 防护 系统 ， 又 称 网 站 应 用 级 入 侵 防 御 系 统 ， 英 文 为 Web Application Firewall。 利 用 国际 上 公认 的 一 种 说 法 : Web 应 用 防火 墙 是 通过 执行 一 系列 针对 HTTP/HTTPS 的 安全 策略 来 专门 为 
Web 应 用 提供 保护 的 一 款 产品 。 
























































WAF 具 有 如 下 特点 : 





: 异常 检测 协议 : Web 应 用 防火 墙 会 对 HTTP 的 请 求 进 行 异常 检测 ， 拒 绝 不 符合 HTTP 标 准 的 请 求 。 并 且 ， 它 也 可 以 只 允许 HTTP 协 议 的 部 分 选项 通过 ， 从 而 减少 攻击 的 影响 范围 。 甚 至 ， 一 些 Web 应 用 防 
火 墙 还 可 以 严格 限定 HTTP 协 议 中 那些 过 于 松散 或 未 被 完全 制定 的 选项 。 


: 增强 的 输入 验证 : 增强 输入 验证 可 以 有 效 防止 网 页 纂 改 、 信 息 泄露 、 木 马 植 入 等 恶意 网 络 入 侵 行为 ， 从 而 减 小 Web 服 务 器 被 攻击 的 可 能 性 。 


: 及 时 补丁 : 修补 Web 安 全 漏洞 是 Web 应 用 开发 者 最 头痛 的 问题 ， 没 人 知道 下 一 秒 会 有 怎样 的 漏洞 出 现 ， 会 为 Web 应 用 带 来 怎样 的 危害 。WAF 可 以 为 我 们 做 这 项 工作 一 一 只 要 有 全 面 的 漏洞 信息 ，WAF 
能 在 不 到 一 个 小 时 的 时 间 内 屏蔽 掉 这 个 漏洞 。 当 然 ， 这 种 屏蔽 挤 漏 洞 的 方式 可 能 不 是 非常 完美 ， 并 且 没 有 安装 对 应 的 补丁 本 身 就 是 一 种 安全 威胁 ， 但 我 们 在 没有 选择 的 情况 下 ， 任 何 保护 措施 都 比 没有 保护 
措施 更 好 。 


: 基于 规则 的 保护 和 基于 异常 的 保护 : 基于 规则 的 保护 可 以 提供 各 种 Web 应 用 的 安全 规则 ，WAF 生 产 商会 维护 这 个 规则 库 ， 并 时 时 为 其 更 新 。 用 户 可 以 按照 这 些 规则 对 应 用 进行 全 方位 的 检测 。 还 有 的 
产品 可 以 基于 合法 应 用 数据 建立 模型 ， 并 以 此 为 依据 判断 应 用 数据 的 异常 。 但 这 需要 对 用 户 企业 的 应 用 具有 十 分 透彻 的 了 解 才 可 能 做 到 ， 这 在 现实 中 是 一 件 十 分 困难 的 事情 。 


: 状态 管理 : WAF 能 够 判断 用 户 是 否 为 第 一 次 访问 并 且 将 请 求 重 定向 到 默认 登录 页 面 并 记录 事件 。 通 过 检测 用 户 的 整个 操作 行为 可 以 更 容易 地 识别 攻击 。 状 态 管 理 模式 还 能 检测 出 异常 事件 (比如 登录 
失败 ) ， 并 且 在 达到 极限 值 时 进行 处 理 。 这 对 暴力 攻击 的 识别 和 响应 十 分 有 利 。 


其 他 防护 技术 : WAF 还 有 一 些 安全 增强 的 功能 ， 可 以 用 来 解决 WEB 程 序 员 过 分 信任 输入 数据 带 来 的 问题 。 比 如 : 隐藏 表单 域 保护 、 搞 入侵 规 避 技 术 、 响 应 监视 和 信息 泄露 保护 。 


2.WAF 与 网 络 防火 墙 的 区 别 


























网 络 防火 墙 作 为 访问 控制 设备 ， 主 要 工作 在 OSI 模型 的 三 层 和 四 层 ， 基 于 1IP 报 文 进行 检测 ， 只 是 对 端口 做 限制 ， 对 TCP 协 议 做 封 堵 。 其 产品 设计 无 需 理解 HTTP 会 话 ， 也 就 决定 了 无 法 理解 Web 应 用 程序 
语言 ， 如 HTML、SQL 语 言 等。 因此 ， 它 不 可 能 对 HTTP 通 讯 进行 输入 验证 或 攻击 规则 分 析 。 针 对 Web 网 站 的 恶意 攻击 绝 大 部 分 都 将 封装 为 HTTP 请 求 ， 从 80 或 443 端 口 顺利 通过 防火 墙 检测 。 
























































一 些 定位 比较 综合 、 提 供 丰 富 功能 的 防火 墙 ， 也 具备 一 定 程度 的 应 用 层 防御 能 力 ， 如 果 能 根据 TCP 会 话 异常 性 及 攻击 特征 阻止 网 络 层 的 攻击 ， 通 过 IP 分 拆 和 组 合 也 能 判断 是 否 有 攻击 隐藏 在 多 个 数据 包 
中 ， 但 从 根本 上 说 ， 它 仍然 无 法 理解 HTTP 会 话 ， 难 以 应 对 如 SQL 注入 、 跨 站 脚本 、cookie 窃 取 、 网 页 纂 改 等 应 用 层 攻击 。 



















































































Web 应 用 防火 墙 能 在 应 用 层 理解 分 析 HTTP 会 话 ， 因 此 能 有 效 防 止 各 类 应 用 层 攻 击 ， 同 时 向 下 兼容 ， 具 备 网 络 防 火 墙 的 功能 。 





























3.Web 应 用 防火 墙 的 具体 搭建 


实现 WAF 一 句 话 描述 ， 就 是 解析 HTTP 请 求 (协议 解析 模块 ) ， 规 则 检测 (规则 模块 ) ， 做 不 同 的 防御 动作 (动作 模块 ) ， 并 将 防御 过 程 〈 日 志 模块 ) 记录 下 来 。 所 以 本 文中 的 WAF 实 现 由 五 个 模块 
(配置 模块 、 协 议 解 析 模 块 、 规 则 模块 、 动 作 模 块 、 错 误 处 理 模块 ) 组 成 。 下 面 是 Web 应 用 防火 墙 的 具体 搭建 流程 ， 如 下 所 示 : 























(1) 这 里 软件 包 的 下 载 路 径 均 为 /usr/local/src， 我 们 首先 进入 此 目录 ， 下 载 新 版 的 Nginx 和 PCRE 软 件 包 。 系 统 为 CentOS 6.8 x86_64，IP 地 址 为 10.0.0.88， 命 令 如 下 所 示 : 








wget http://nginx.org/download/nginx-1.9.4.tar.gz 
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.40.tar.gz 





(2) 下 载 当前 最 新 的 LuaJIT 和 ngx_devel_kit， 以 及 章 亦 春 ( 春 哥 ) 编写 的 lua-nginx-module， 命 令 如 下 所 示 : 





wget http://luajit.org/download/LuaJIT-2.0.4.tar.gz 
wget https://github.com/simpl/ngx devel kit/archive/v0.2.19.tar.gz 
wget https://github.com/openresty/lua-nginx-module/archive/v0.9.16.tar.gz 























最 后 ,创建 Nginx 运 行 的 普通 用 户 [root@nginx-lua src]#useradd-s/sbin/nologin-M www。 


(3) 解压 NDK、lua-nginx-module 以 及 PCRE 软 件 包 ,命令 如 下 所 示 : 





tar xvf pcre-8.40.tar.gz 
tar xvf vO.2.19.tar.gz 
tar xvf v0.9.16.tar.gz 





解压 以 后 的 目录 如 下 : 





pcre-8.40 
ngx devel kit-0.2.19 
lua-nginx-module-0.9.16 





(4) 安装 LuaJIT，Luajit 是 Lua 即 时 编译 器 ， 命 令 如 下 所 示 : 





tar zxvf LuaJIT-2.0.3.tar.gz 
cd TuaJTT-2.0.3 
make && make install 











(5) 生成 运行 Nginx 服 务 的 www 用 户 ， 并 安装 Nginx。 

















useradd -s /sbin/nologin -M www 

tar xvf nginx-1.9.4.tar.gz 

cd nginx-1.9.4 

./configure --prefix=/usr/local/nginx --user=www --group=Wwww --with-http ssl module -~-with-http stub status module --with-file-aio --with-http dav module --add-module=t 
make -j2 && make install 





(6) Nginx 及 lua-nginx-module 模 块 安装 成 功 以 后 ， 我 们 尝试 运行 一 个 简单 的 lua 程 序 ， 看 能 否 运行 成 功 。 下 面 是 在 nginx.conf 文 件 中 增加 一 个 配置 : 





location /hello { 
default type 'text/plain'; 
content by lua 'ngx.say ("hello,1lua")'; 
} 





然后 我 们 进行 相关 配置 文件 检查 ， 如 下 所 示 : 





/usr/local/nginx/sbin/nginx ot 





此 时 会 出 现 如 下 报错 : 





/usr/local/nginx/sbin/nginx: error while loading shared libraries: libluajit-5.1.so.2: cannot open shared object file: No such file or directory 





创建 符号 链接 : 





ln -s /usr/local/lib/libluajit-5.1.so.2 /1ib64/libluajit-5.1.so.2 





再 进行 配 雷 文件 检查 即 可 ， 结 果 如 下 所 示 : 








nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok 
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful 





然后 启动 nginx 服 务 ， 访 问 网 址 http://10.0.0.88/hello， 结 果 显 示 正常 ， 如 下 所 示 : 





hello, lua 





这 说 明 相 关 配 置 是 正确 的 。 














下 面 我 们 要 导入 具体 的 WAF 防 火 墙 规则 ， 这 里 采用 的 是 开源 的 WAF 规 则 (作者 : 张 会 源 ) 。 








具体 搭建 步骤 如 下 所 示 。 








首先 进入 到 /usr/local/nginx/conf 目 录 下 ,执行 如 下 命令 : 





git clone https://github.com/loveshell/ngx lua waf.git 








然后 将 其 改名 为 waf， 命 令 如 下 : 





mv ngx lua waf waf 





修改 nginx.conf 文 件 的 http 段 ， 修 改 内 容 如 下 所 示 : 





lua package path "/usr/local/nginx/conf/waf/?.1lua"; 
lua shared dict limit 10m; 

init by lua file /usr/local/nginx/conf/waf/init.lua; 
access by lua file /usr/local/nginx/conf/waf/waf.1lua; 





配置 config.lua 里 的 waf 规 则 目录 (在 waf/conf/ 目 录 下 ) ， 跟 下 面 内 容 保持 一 致 即 可 : 





RulePath = "/usr/local/nginx/conf/waf/wafconf/™" 





我 们 再 次 检查 nginx 相 关 配 置 ， 如 下 所 示 : 





nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok 
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful 























配置 规则 config.lua 的 详细 说 明 如 下 ， 我 们 根据 规则 建立 hack 目 录 ， 并 给 予 www 用 户 755 权 限 : 





attacklog = "off™ 
-- 是 否 开启 攻击 信息 记录 ， 如 果 选 择 是 ， 则 需要 配置 1ogdir 
logdir = "/usr/local/nginx/logs/hack/" 
=--1og 存 储 目录 ， 该 目录 需要 用 户 自己 创建 ， 且 需要 nginx 用 户 的 可 写 权 限 
UrlDeny="on" 

-是 否 拦 截 url 访 问 

Redirect= _ 

一 -是 否 拦 截 后 重 定向 

CookieMatch = "on" 

-- 是 否 拦截 cookie 攻 击 
PostMatch = "on" 

一 -是 否 拦截 post 攻 击 
whiteModule = "on" 

一 -是 否 开 启 URL 白 名 单 

black fileExt={"php", "jsp"} 
-填写 不 允许 上 传 文件 后 缀 类 型 
ipWhitelist={"127.0.0.1"} 

















-ip 自 名 单 ， 多 个 ip 用 过 号 分 隔 
ipBlocklist={"1.0.0.1"} 
一-ip 黑 名 单 ， 多 个 ip 用 过 号 分 隔 


CCDeny="on" 

一 -是 否 开 启 拦 截 cc 攻 击 (需要 nginx.conf 的 http 段 增加 lua_shared dict limit 10m;) 
CCrate = "100/60" 

一 -设置 cc 攻击 频率 ， 单 位 为 秒 

一 -默认 1 分 钟 同一 个 IP 只 能 请 求 同 一 个 地 址 100 次 








等 一 切 部 署 完毕 以 后 ， 我 们 可 以 尝试 如 下 命令 : 





curl http://10.0.0.88/test.php?id=http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../etc/passwd 





返回 结果 如 图 8-2 所 示 。 





网 站 防火 墙 

您 的 请 求 带 有 不 合法 参数 ， 已 被 网 站 管理 员 设 置 拦截 ! 
可 能 原因 : 您 提交 的 内 容 包含 危险 的 攻击 请 求 
如 何 解 决 : 


1 ) 检查 提交 内 容 ， 
2 ) 如 网 站 托管 ， 请 联系 空间 提供 商 ， 
3 ) 普通 网 站 访客 ， 请 联系 网 站 管理 员 ， 





图 8-2 返回 结果 
我 们 查看 此 时 的 Nginx 服 务 的 access.log 日 志 ， 如 下 : 
10.0.0.7 - - [28/May/2017:08:25:10 +0100] "GET /test.php?id=http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../etc/pass 





服务 器 返回 403 HTTP 状 态 码 ， 说 明 规 则 是 生效 的 。 


此 外 ，hack 目 录 里 面 也 有 相关 记录 ， 如 下 所 示 : 








10.0.0.7 [2017-05-28 08:25:10] "GET localhost/test .php?id=http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/../etc/passwd" 





另外 ,我 们 在 另 一 台 IP 为 10.0.0.12 的 机 器 上 面 开启 webbench 进 行 压力 测试 (模拟 攻击 ) ， 命 令 如 下 所 示 : 





webbench -c 500 -t 100 http://10.0.0.88/hello 





access.log 日 志 截 取 如 下 所 示 : 














10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 "-" "WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 " WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 WebBench 1.5" 
10.0.0.12 - - [28/May/2017:08:56:07 +0100] "GET /hello HTTP/1.0" 403 2078 "-" "WebBench 1.5" 

















hack 目 录 里 的 相关 日 志 截 取 如 下 所 示 : 














2017-05-28 08:57:38] "UA localhost/hello" "-" "WebBench 
2017-05-28 08:57:38] "UA localhost/hello" "-" "WebBench 


10.0.0 | "(HTTrack|harvest|audit|dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser| libwww|BBBike|sqlmap|w3af|owas 
10.0.0 [ ] 

10.0.0.12 [2017-05-28 08:57:38] "UA localhost/hello" "WebBench 
10.0.0 [ ] 

10.0.0 [ | 


( 
"(HTTrack|harvest|audit |dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser| libwww|BBBike|sqlmap|w3af|owas 
"(HTTrack|harvest|audit |dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af |owasr 

2017-05-28 08:57:38] "UA localhost/hello" "WebBench ( 

2017-05-28 08:57:38] "UA localhost/hello" "-" "WebBench ( 


"(HTTrack|harvest|audit |dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af |owasr 
"(HTTrack|harvest|audit |dirbuster|pangolin|nmap|sqln|-scan|hydra|Parser|libwww|BBBike|sqlmap|w3af |owasr 


上 FF 
mw 

















事实 上 ， 这 些 由 webbench 软 件 产生 的 不 正常 的 访问 都 是 被 Nginx 服 务 器 拒绝 掉 的 ， 全 部 返回 了 403 报 错 ， 也 证 明 WAF 防 御 规则 是 完全 生效 的 。 感 兴趣 的 朋友 还 可 以 测试 下 此 时 的 黑白 名 单 (如 果 没 有 
waf 策 略 ，Nginx 本 身 没有 白 名 单 功能 ) 。 



































参考 文档 : https://github.com/loveshell/ngx_lua_waf/readme.MD。 


8.4 “Linux 系 统 如 何 防止 入 侵 








事实 上 ， 部 分 公司 有 很 多 非 核心 的 服务 器 并 未 置 于 自己 的 机 房 内 ， 并 且 有 硬件 防火 墙 保护 ， 这 个 时 候 我 们 应 该 如 何 防止 黑客 入 侵 呢 ? 本 节 将 给 出 一 些 保证 系统 安全 的 建议 ， 但 这 些 建议 并 未 涵盖 全 部 的 
保证 系统 安全 的 方法 ， 仅 仅 是 笔者 的 几 点 建议 。 






































系统 的 软件 要 尽 可 能 及 时 更 新 ， 特 别 是 有 重大 安全 隐患 的 软件 。 虽 然 经 常 更 新 计算 机 系统 是 本 节 中 提 到 保证 系统 安全 的 方法 中 最 容易 实现 的 ， 但 是 这 项 工作 经 常 被 忽视。 计算 机 最 容易 被 攻破 的 情况 
是 让 其 运行 但 从 不 对 其 进行 更 新 。Linux 系 统 及 开源 软件 最 强 的 性 能 之 一 就 是 它们 的 高 安全 性 ， 这 是 有 原因 的 ， 当 一 个 安全 问题 被 揭露 时 ， 开 源 社区 会 在 很 短 的 时 间 内 提出 解决 方案 ， 这 为 保证 开源 软件 的 高 
安全 性 提供 了 条 件 。 它 们 经 常 做 到 在 问题 发 现 的 同一 天 就 找到 修复 方案 ， 甚 至 是 以 前 从 没 见 过 的 安全 问题 也 有 很 多 都 在 发 现 的 当天 就 被 解决 了 。 勤 快 更 新 软件 是 保证 系统 安全 很 重要 的 一 方面 ， 虽 然 推荐 尽 
可 能 频繁 地 更 新 软件 ， 但 是 我 们 也 要 密切 关注 正在 更 新 的 软件 ， 要 保证 所 有 的 更 新 都 不 会 影响 系统 的 正常 运行 。 
























































2) 保证 内 部 网 络 的 安全 。 很 多 时 候 为 了 安全 ， 我 们 将 核心 生产 服务 器 放置 在 公司 内 部 的 机 房 中 ， 然 后 把 注意 力 和 精力 放 在 外 网 的 防护 工作 上 面 ， 于 是 疏忽 了 内 部 的 安全 性 ， 这 个 时 候 的 服务 器 很 容易 被 
人 从 内 部 进行 破坏 。 正 确 的 做 法 有 许多 种 ， 比 如 应 该 将 重要 的 生产 服务 器 放 在 DMZ 区 域 ， 跟 我 们 的 内 网 隔离 开 ， 这 样 即使 内 部 网 络 被 人 破坏 或 被 人 入 侵 ， 也 不 会 影响 生产 服务 器 。 像 我 们 的 线 上 环境 ， 除 了 
跳板 机 以 外 均 没有 开放 公 网 SSH 端 口 ， 而 且 重要 区 域 的 跳板 机 只 允许 办 公 网 络 地 址 进行 SSH 连 接 。 如 果 有 同事 需要 在 公司 以 外 的 场所 进行 SSH 连 接 ， 必 须 向 公司 的 IT 部 门 申请 VPN 才 行 。 





















































3) 尽 可 能 最 小 化 安装 服务 器 和 运行 最 少 的 服务 。 通 过 这 么 多 年 的 系统 相关 工作 实践 ， 我 们 发 现 ， 安 装 包 最 小 的 服务 器 相对 而 言 是 最 为 稳定 的 ， 而 只 提供 必要 的 基础 核心 服务 也 是 提高 服务 器 安全 稳定 性 
的 方法 之 一 。 





























4) 在 我 们 也 要 内 核 的 强化 上 面 多 做 一 些 工作 。 多 关注 一 下 服务 器 的 内 核 漏洞 ， 毕 竟 现 在 有 关 Linux 的 很 多 攻击 都 是 针对 内 核 的 ， 尽 可 能 采用 稳定 的 新 内 核 版 本 ， 笔 者 公司 现在 用 的 内 核 版 本 为 2.6.32- 
642.6.1.el6.x86_64 和 3.14.35-28.38.amzn1.x86_64， 分 别 对 应 的 是 CentOS 6.8 系 统 和 AWS EC2 海 外 云 主 机 系统 。 























5) 如 果 条 件 允 许 的 话 ， 可 以 在 我 们 的 网 站 或 系统 关键 位 置 的 服务 器 上 部 署 snort，snort 是 一 个 非常 优秀 的 开源 入 侵 检 测 软 件 ， 它 集成 了 同类 软件 中 最 先进 的 技术 ， 我 们 可 以 利用 snort 的 警报 找 出 攻击 
者 并 做 出 相应 的 防范 措施 。 








8.5 小 结 









































本 章 向 大 家 详细 介绍 了 TCP_wrappers 的 语法 ， 以 及 现在 常见 的 Ddos 攻 击 、DNS 和 HTTP 支 持 等 ， 最 后 向 大 家 介绍 了 WAF 的 详细 特点 ， 并 用 Nginx_lua 搭 建 了 一 套 WAF 应 用 层 防火 墙 ， 并 进行 了 相关 的 
webbench 模 拟 攻击 测试 。 最 后 ， 也 跟 大 家 分 享 了 Linux 服 务 器 防护 以 及 如 何 防止 入 侵 等 知识 ， 希 望 大 家 看 完 本 章 内 容 以 后 ， 能 对 Linux 安 全 防护 有 进一步 的 了 解 和 认识 ， 并 在 工作 中 知道 如 何 规避 风险 。 








附录 A ”GibLab 在 开发 工作 中 的 实际 应 用 





























GitLab 是 一 个 利用 Ruby on Rails 开 发 的 开源 应 用 程序 ， 实 现 一 个 自 托管 的 Git 项 目 仓库 ， 可 通过 Web 界 面 进行 访问 公开 的 或 者 私有 的 项 目 。 它 拥有 与 GitHub 类 似 的 功能 ， 能 够 浏览 源 代码 ， 管 理 缺陷 和 
注释 ， 也 可 以 管理 团队 对 仓库 的 访问 ， 它 非常 易于 浏览 提交 过 的 版 本 并 提供 一 个 文件 历史 库 。 团 队 成 员 可 以 利用 内 置 的 简单 聊天 程序 (Wall) 进行 交流 。 它 还 提供 了 一 个 代码 片段 收集 功能 ， 可 以 轻松 实现 
代码 复 用 ， 便 于 日 后 有 需要 的 时 候 进行 查找 。 开 源 中 国 代码 托管 平台 git.oschina.net 就 是 基于 GitLab 项 目 搭建 的 。 






















































































A.1 ”GitLab 的 优势 所 在 
与 传统 的 SVN 版 本 管理 软件 相 比 ，GIT 存 在 哪些 优势 呢 ? 
“Git 与 SVN 的 区 别 : 
“Git 的 速度 明显 快 于 SVN。 
“Git 天 生 就 是 分 布 式 的 。 它 有 本 地 版 本 库 的 概念 ， 可 以 离线 提交 代码 (相对 于 SVN 集 中 式 管理 的 优势 ) 。 


“ 强大 的 分 支管 理 功能 ， 方 便 多 人 协同 开发 。 


: GIT 的 内 容 存 储 使 用 的 是 SHA-1 哈 希 算法 ， 这 能 确保 代码 内 容 的 完整 性 ， 确 保 在 遇 到 磁盘 故障 和 网 络 问题 时 降低 对 版 本 库 的 破坏 。 
目前 基于 Git 做 版 本 控制 的 代码 托管 平台 ， 除 了 GitLab 还 有 GitHub， 那 么 它们 的 区 别 在 哪里 呢 ? 

“GitHub 如 果 是 私人 (Private) 的 项 目 ， 需 要 收费 。 

GitHub 的 机 器 都 在 国外 ， 如 果 在 DevOps 工 作 中 经 常 需 要 git pull 或 git push 的 话 ， 会 因为 网 络 连接 缓慢 的 问题 影响 工作 效率 。 


“ GitLab 有 中 文 汉化 版 本 ， 对 中 文 的 支持 优 于 GitHub。 


基本 上 述 原 因 ， 我 们 选择 GitLab 作 为 代码 托管 平台 。 

















如 果 在 没有 网 络 (比如 在 高 铁 上 出 差 的 特殊 场景 ) 的 情况 下 ， 可 以 先 提交 到 本 地 版 本 库 (git clone 可 以 下 一 个 完整 的 clone 到 本 地 工 仓库 ) ， 其 工作 流 如 图 A-1 所 示 。 


工作 尝 
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A-1 GitLab 无 网 络 时 的 工作 流程 图 











在 有 网 络 的 情况 下 ， 正 常 的 GitLab 工 作 流 (Repository 在 这 里 为 本 地 版 本 仓库 ) 如 图 A-2 所 示 。 





pull 










checkout 





Remote 


fetch/clone 










workspace 


Repository 






commit add 





A-2 ”GitLab 有 网 络 时 的 工作 流程 图 











另外 ， 如 果 大 家 的 工作 机 器 上 面 有 几 套 公私 钥 ， 最 好 指定 下 ~/.ssh/config 文 件 ， 如 下 所 示 ， 否 则 通过 SSH 协 议 连 接 GitLab 时 会 报错 。config 配 置 文 件 内 容 如 下 所 示 : 





Host www.github.com 
IdentityFile ~/.ssh/github 

Host devops.gl.cachecn.net 
IdentityFile ~/.ssh/gitlab 


























这 里 略 过 GitLab 的 搭建 过 程 ， 下 面具 体 说 明 GitLab 的 操作 流程 。 























Git 操 作 流 程 ， 以 用 户 yuhc， 项 目 名 字 为 fcd_conf， 项目 地址 为 http://60.1.2.3/pushconf/fcd_conf 举 例 说 明 : 









































个 人 办 公 电 脑 推荐 使 用 Git For Windows 工 具 管 理 GitLab 相 关 项 目 代码 ， 其 地 址 为 : 

















https://git-for-windows.github.io/， 安 装 完成 以 后 本 地 会 有 git bash， 可 以 方便 使 用 命令 行 来 进行 git 的 操作 命令 。 








1) 首先 进入 自己 的 工作 目录 ， 生 成 公私 铀 ， 命 令 如 下 所 示 : 





ssh-keygen -t rsa 








其 他 就 是 不 停 地 按 默认 键 ， 就 会 生成 默认 的 公私 铀 了 。 











2) 然后 将 用 户 yuhc 的 id_rsa.pub 文 件 的 内 容 复制 和 粘贴 到 gitlab 机 器 上 面 去 ， 地 址 为 : 








http://60.1.2.3/profile/keys， 选 择 菜单 “Add SSH key”。 











3) 成 功 以 后 需要 进行 gitlab 配 置 ， 我 们 可 以 在 自己 根 目录 的 .ssh 目 录 下 建立 config 文 件 ， 路 径 位 置 及 文件 内 容 如 下 所 示 : 























Host 60.1,2.3 
IdentityFile ~/.ssh/id rsa 





4) 我 们 可 以 在 自己 的 目录 下 建立 fcd_conf 项 目 库 的 clone， 传 输 git 数 据 采 用 SSsH 协 议 ， 命 令 如 下 所 示 : 








git clone ssh://gite60.1.2.3/pushconf/fcd_conf.git 





命令 结果 如 下 所 示 : 





Initialized empty Git repository in /work/yuhc/fcd conf/.git/ 
remote: Counting objects: 691, done. 

remote: Compressing objects: 100% (292/292), done. 

remote: Total 691 (delta 374), reused 674 (delta 364) 
Receiving objects: 100% (691/691), 3.05 MiB, done. 

Resolving deltas: 100% (374/374), done. 





六 Git 可 以 使 用 四 种 主要 的 协议 来 传输 数据 : 林地 传输 (Local) 、SSH 协 议 、Git 协 议和 HTTP (包含 HTTPS) 协议 。 在 这 四 种 协议 中 ，Git 协 议 的 速度 是 最 快 的 。Git 使 用 的 传输 协议 中 最 常见 的 可 能 是 
SSH， 因 为 大 多 数 环境 已 经 支持 通过 SSH 对 服务 器 的 访问 (即便 没有 ， 架 设 起 来 也 很 容易 ) 。SSH 也 是 唯一 一 个 同时 支持 读 写 操作 的 网 络 协议 ， 另外 两 个 网 络 协议 (HTTP 和 Git) 通常 都 是 只 读 ， 所 以 虽然 二 
者 对 大 多 数 人 都 可 用 ， 但 执行 写 操作 时 还 是 需要 SSH。SSH 同 时 也 是 一 个 验证 授权 的 网 络 协议 ， 而 因为 其 普遍 性 ， 一 般 架设 和 使 用 都 很 容易 。 


A4 ”GitLab 的 Git Flow 操 作 流程 
什么 是 Git Flow? 
就 是 给 项 目 开发 一 个 新 功能 需要 哪 几 步 。 
1) 创建 新 的 功能 分 支 。 
2) 逐渐 实现 功能 ， 做 成 一 个 一 个 的 新 版 本 。 
3) 发 起 merge request。 
4) 大 家 一 起 来 看 看 这 些 代码 怎么 样 ， 就 是 Code Review。 
5) 大 家 感觉 没 问题 了 ， 把 功能 分 支 合并 到 master 分 支 ， 并 删除 功能 分 支 。 


按照 这 个 流程 下 来 ， 就 是 标准 的 Git Flow。 

















这 里 说 下 Git Flow 的 具体 操作 流程 ， 如 下 所 示 : 


























1) 假设 我 是 用 户 yuhc， 首 先进 入 自己 的 工作 目录 /work/yuhc， 前 面 已 经 操作 了 git clone， 所 以 也 有 对 应 的 master 分 支 了 ， 我 们 首先 建立 一 个 分 支 ， 起 名 为 dev-yhc， 并 切换 至 dev-yhc 分 支 : 























git branch dev-yhc && git checkout dev-yhc 





2) 修改 特定 的 文件 并 提交 至 本 地 分 支 。 这 里 假设 是 example.go 文 件 ， 进 行 过 一 些 改动 (具体 过 程 略 过 ) 。 











在 修改 之 前 ， 因 为 我 们 的 配置 文件 是 多 个 同事 协同 修改 操作 的 ， 建 议 先 执行 下 面 的 命令 来 比较 跟 master 的 差异 ， 命 令 如 下 所 示 : 














git diff master 














如 果 本 地 存在 着 多 分 支 的 情况 ， 就 用 如 下 命令 : 








git diff masterhttp://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17230/0EBPS/Text/. .dev-yhc 





比较 下 当前 分 支配 置 文件 与 master 分 支 的 差异 ， 然 后 再 将 其 添加 到 缓存 区 ( 即 “INDEX” 区 ) ， 命 令 如 下 所 示 : 








git add example.go 




















如 果 有 多 个 文件 需要 添加 ， 可 以 用 git add-A， 然 后 再 将 其 提交 到 “HEAD” 区域 ， 命 令 如 所 示 : 





git commit -m "fix bug" 





3) 将 本 地 分 支 提交 至 远程 分 支 ， 命 令 如 下 所 示 : 





git push origin dev-yhc 








4) 然后 向 负责 人 (一般 为 团队 的 Team Leader) 提交 merge request 请 求 ， 此 时 需要 进入 GitLab 界 面 进行 具体 操作 ， 如 图 A-3 所 示 。 








平台 负责 人 或 升级 人 同意 merge request 合 并 请 求 的 时 候 ， 建 议 删除 源 分 支 ， 请 注意 选择 “Remove source branch” 选 项 ， 如 图 A-4 所 示 。 





New Merge Request 


From dev-yhc into master 


Start the title with WIP: to prevent a Work In Progress merge request 


Add description templates to help your contributors communicate e 


Write Preview 


Write a comment or drag your files here... 





























A-3 ”GitLab 提 交 “Merge Request” 请 求 图 示 


Merge Request !1 opened less than a minute ago by 电 yuhc 


Fix Bug 


Request to merge dev-yhc into master 


Accept Merge Request Remove source branch 区 Modify commit message 


A-4 向 主 分 支 提 交 “Meree Request” 请 求 图 示 


























这 样 合并 以 后 ，dev-yhc 分 支 就 不 存在 了 。 





5) 等 这 一 切 都 成 功 以 后 ,我们 在 自己 的 工作 目录 里 切 到 master 分 支 下 面 ， 删 除 dev-yhc 分 支 ， 操 作 如 下 所 示 : 





git checkout master 
git branch -D dev-yhc 





6) 如 果 本 地 有 第 二 次 更 新 提交 ， 请 注意 保持 本 地 master 分 支 为 最 新 更 新 状态 ， 命 令 如 下 所 示 : 





git pull origin master:master 























如 果 此 时 在 本 地 的 master 分 支 下 (可 以 用 命令 git branch 查 看 ) ， 可 以 简写 为 : 





git pull origin master 








其 他 步骤 参考 上 面 1) ~ 5) 的 过 程 。 


git pull 命 令 的 作用 是 ， 取 回 远程 主机 某 个 分 支 的 更 新 ， 再 与 本 地 的 指定 分 支 合 并 。 它 的 完整 格式 如 下 所 示 : 





git pull < 远程 主机 名 > < 远程 分 支 名 >:< 本 地 分 支 名 > 








比如 ， 上 面 的 命令 是 取 回 origin 主 机 的 next 分 支 ， 与 本 地 的 master 分 支 合 并 ， 命 令 需 要 写成 下 面 这 样 : 





git pull origin next:master 





如 果 远 程 分 支 是 与 当前 分 支 合 并 ， 则 冒号 后 面 的 部 分 可 以 省 略 。 





git pull origin next 








上 面 命 令 表 示 取 回 origin/next 分 支 ， 再 与 当前 分 支 合 并 。 实 质 上 ， 这 等 同 于 先 做 git fetch， 再 做 git merge。 





git fetch origin 
git merge origin/next 




















工作 中 可 以 尽量 多 用 git fetch/merge， 等 熟练 了 git 的 基础 操作 以 后 ， 再 用 git pull。 














六 和 际 上， 按照 git 的 正常 开发 流程 ， 这 里 应 该 先 从 master 分 支 里 面 再 分 一 个 dev 开 发 分 支出 来 ， 团 队 一 起 在 此 dev 分 支 上 面 进行 merge request， 最 后 等 功能 稳定 以 后 再 正式 合并 到 master 分 支 上 去 。 这 里 由 
于 实际 工作 中 ，DevOps 部 门 的 人 数 较 少 ， 能 够 分 配 到 参与 项 目 新 功能 的 开发 人 员 也 较 少 ， 这 里 就 直接 略 过 dev 开 发 分 支 ， 直 接 在 master 分 支 上 面 进行 操作 了 。 


附录 B ”Sublime Text3 的 快捷 键 操作 


























工作 中 除了 VIM 编辑 器 以 外 ，Sublime Text3 (以 下 简称 之 为 ST3) 是 笔者 用 得 最 多 的 编辑 器 了 ， 主 要 用 于 Python 项 目 和 Golang 项 目的 编辑 开发 工作 ， 再 配合 ST3 的 SFTP 播 件 ， 很 容易 在 开发 服务 器 上 












































面 直接 编辑 项 目 文件 ，SFTP 播 件 也 是 笔者 在 ST3 中 





B.1 ST3 简 介 











得 最 多 的 插件 之 一 。 

















ST3 是 一 款 具有 代码 高 亮 、 语 法 提示 、 自 动 完成 且 反 应 快速 的 编辑 器 软件 ， 不 仅 具 有 华丽 的 界面 ， 还 支持 插件 扩展 机 制 ， 用 它 来 写 代码 ， 绝 对 是 一 种 享受 。 相 比 于 难 上 手 的 VIM ， 腑 肿 沉重 的 Eclipse、 





VS， 即 便 体 积 轻巧 启动 迅速 的 Editplus、Notepad++， 在 ST3 面 前 也 略 显 失色 ， 这 款 优秀 的 编辑 器 无 疑 是 Coding 和 Writing 最 佳 的 选择 ， 没 有 之 一 。 


























作为 DevOps 开 发 人 员 ， 大 家 应 该 清楚 ， 平 时 的 开发 工作 不 仅仅 像 开 发 Shell 一 样 只 有 几 个 文件 需要 编辑 ， 以 笔者 的 Golang 项 目 举例 ， 除 了 要 调用 自己 的 几 十 个 packag 以 外 ， 还 得 调用 github.com 的 几 
十 个 package， 所 以 需要 直观 好 用 的 导航 以 及 快捷 的 编辑 及 查找 模式 ， 这 里 向 大 家 推荐 ST3， 其 工作 界面 如 图 B-1 所 示 。 


























我 们 为 什么 需要 FTP/SFTP 插 件 呢 ? 



























































有 时 候 修改 一 些 网 站 上 的 文件 ， 通 常 是 下 面 这 样 的 流程 : 使 用 FTP/SFTP 连 接 到 远程 服务 器 一 下 载 要 修改 的 文件 一 使 用 3T3 修 改 文件 一 保存 然后 拖 进 SFTP 中 一 刷新 网 站 或 运行 程序 。 





> fwdevops-go 
V github.com 
VW adjust 
> rma 
pb uniuri 
bb alecdhomas 
VW astaxie 
» beego 
beego 
bee 
> testdata 
qtignore 
goxcjson 
travis yml 
apiapp.go 
autorouter.go 
autorouter test,go 
bale go 
banner.go 
bee.go 
beejson 
Beefile 
code.go 
color.go 
Colorwniter.go 
colorwriter windows,go 
conf,go 
fgo 
9.90 
gappcode.go 
9_controlers.go 
doc.9o 
9_hproseappcode.9o 
Q_migration.90 





























port ( 


"os" 
"strings” 


r cmdGenerate = &Command{ 


UsageLine: "generate [Command]”， 

Short: "source code generator", 

Long: ~ 

generate scaffold [scaffoldname] [-fields=""] [-driver=mysql] [-conn="root:@tcp(127.0.0.1:3386)/test" 
The generate scaffold command will do a number of things for you. 

-fields: a list of table fields. Format: field:type, ... 


-driver: [mysql | postgres | sqlite], the default is mysql 
-Conn: the connection string used by the driver, the default is root:@tcp(127.0.0.1:3306)/test 
example: bee generate scaffold post -fields="title:string,body:text” 


generate model [modelname] [-fields= 
generate RESTFul model based on fields 
-fields: a list of table fields. Format: field:type, ... 


generate controller [controllerfile] 
generate RESTful controllers 


generate view [viewpath] 
generate CRUD view in viewpath 


generate migration [migrationfile] [-fields=""] 








B-1 ST3 完 整 工作 界面 图 示 





























这 样 的 工作 流程 效率 明显 很 低 ， 尤 其 是 修改 一 句 代 码 的 时 候 ， 为 了 即时 生效 ， 需 要 重复 切换 几 个 窗口 重复 这 个 过 程 ， 于 是 就 有 了 SFTP 这 个 插件 。 














它 的 主要 功能 就 是 通过 FTP/SFTP 连 接 远程 服务 器 并 获取 文件 列表 ， 可 以 选择 下 载 编辑 、 重 命名 、 删 除 等 操作 ， 单 击 下 载 编辑 之 后 ， 可 以 打开 这 个 文件 进行 修改 。 修 改 完成 之 后 ， 保 存 一 下 就 会 自动 上 传 


到 远程 的 服务 器 上 面 。 
































使 用 SFTP 揪 件 之 后 ， 工 作 流 程 为 : 使 用 SFTP 插 件 打开 文件 一 使 用 ST3 编 辑 修改 文件 一 保存 文件 一 刷新 页 面 或 运行 程序 ， 效 率 至 少 提升 了 一 倍 以 上 ， 下 面 就 来 介绍 一 下 它 的 具体 使 用 方法 。 








安装 SFTP 插 件 比 较 简单 ， 此 处 略 过 。 由 于 笔者 本 地 已 配 好 了 Vagrant 的 开发 环境 ， 所 以 一 般 只 需要 跟 本 地 的 Vagrant 虚 拟 开 发 机 器 进行 交互 就 可 以 了 。 





打开 ST3 的 “文件 ”菜单 ， 选 择 “FTP/SFTP” 菜 单 ， 再 选择 “Setup Server”， 如 果 信 息 正确 ， 此 时 就 可 以 编辑 要 进行 连接 SFTP 服 务 器 的 一 切 信息 了 ， 如 图 B-2 所 示 。 








大 家 注意 下 ssh_key file 选 项 ， 说 明 SFTP 插 件 不 仅仅 只 支持 账号 和 密码 登录 ， 同 样 ， 它 也 可 以 支持 SSH 私 钥 登 陆 。 








出 


然后 我 们 将 其 保存 ， 取 名 为 “deploy” 即 可 ， 此 时 如 果 一 切 顺 利 ， 我 们 可 以 连 到 SFTP Server 端 进行 相关 文件 的 查看 、 编 辑 和 删除 工作 ， 如 图 B-3 所 示 。 











过 























此 外 ，SFTP 揪 件 还 支持 将 当前 编辑 的 文件 upload 上 传 到 Server 端 的 功能 ， 即 “Upload File”， 相 对 而 言 ， 笔 者 更 喜欢 这 种 在 本 地 编辑 然后 upload 的 方式 ， 感 觉 这 样 更 方便 和 人 性 化 。 具 体 步骤 操作 如 


在 自己 的 工作 机 上 编辑 完成 一 个 本 地 文件 ， 如 hello.go 文 件 以 后 ， 想 upload 到 远 端 的 Server 机 器 上 面 ， 这 时 候 我 们 可 以 先 选 中 此 文件 ， 然 后 单 击 鼠 标 右键 ， 然 后 选择 “FTP/SFTP” 一 “Map to 

















Remote” ， 然 后 根据 实际 情况 配置 ， 如 图 B-4 所 示 。 














ext3\Data\Packages\User\sft rs\gowor| 





5 DASublim. 


文件 (篇 馈 (E) 和 远 项 (S$) 查找 (1 查看 (V) 转 到 (G) 工具 (T) 项 目 (P) Preferences 和 帮助 (H) 
打开 文件 4 / 
gowok | i 
deploy - 
test.,go 
文 实 "Sync _down_ on_ open"”: true， 
Y yhc “sync_same age": true, 
> fwdevop5-90 
ER "host": "127.90.0.1"， 
Vv mygo ”" mm mm nm 
User : Vvagrant ， 
calcproje 和 " " Ld 
ee password": "vagrant", 
dosure.go "port": oe 
hello,go 
interfacel.go "remote path": "/home/yhc/gowork/", 
interface2.90 //"file permissions": "664", 
f , Was cr 四 四 四 
0 //"dir permissions": "775", 
rec,go 
sftp-config.json 
test,go // "extra_ list connections": 0， 
test1.00 
test2.9o “connect timeout": 30， 


//"Kkeepalive": 120， 

// "ftp passive mode": true, 

//"ftp obey passive host": false, 
//"ssh key file”: “~/ .ssh/id_rsa ， 

//"sftp flags”: [“-F", “"/path/to/ssh config"], 


// "preserve modification times": false, 
//"remote time offset in hours": 0， 
//"remote encodin 

//"“remote locale": 3 

// "allow_ config upload": false， 


Opened 35 UTF-3, detected GBK (document maybe broken), ASCIL 行 25 

















Downloading ” 


Downloading “/home 


Downloading ” 











B-3 ”向 ST3 插 件 服务 器 upload 成 功 上 传 文件 图 示 








文件 四” 编 锅 (E) 和 远 项 (S$) 坦 找 四” 坦 看 W， 转 到 (G) 工具 中 ”项 目 (BP) Preferences “大助 (由 





test2.90 deploy sftp-config.json 


"\\.sublime-(project|workspace)"，"sftp-config(-alt\\dy)?N\.json"， 


打开 文件 dosure.go 
gowork 
无 村 要 
dosure.go tp ， 
test3.go " "n,m" " 
type": "sftp", 
deploy 0 a 
i save before upload": true, 
文 类 "upload_on_save": false， 
vyhc "sync_down_on open": false, 
天 fwdevops-go WL 
b> github.com "sync_same age": true， 
le "confirm downloads": false, 
TY calcproje 加 ee 而 
i confirm sync": true, 
> pkg “confirm overwrite newer":; false， 
bp sre 
dosuer3,g0 
dosure.9o 
interfacel.go 
interface2.g90 
interface3.go 
red.go 
sttp-configjson "remote path": "/home/yhc/", 
test.go "ignore_regexes": [ 
testl,go 
test2.90 


]， 


"sftp-settings\\.json", "/venv/", "\\.svn 


7 2h 


WD 4 i :A NN 





图 B-4 











1 





编辑 修改 远 端 SFTP 服 务 器 的 界面 图 示 


选择 CTRL+S (保存 ) 以 后 ， 会 在 本 地 保存 一 个 名 为 “sftp-configjson” 的 文件 ， 如 果 以 后 需要 编辑 更 改 ， 直 接 编辑 此 文件 即 可 。 








保证 此 信息 配置 正确 以 后 ， 点 击 此 文件 ， 然 后 选择 “Upload File” 文 件 选项 即 可 迅速 将 此 文件 upload 到 指定 远 端 服务 器 的 目录 中 ， 一 般 是 指定 用 户 的 家 目录 ， 比 如 yhc 用 户 的 家 目录 ， 即 /home/yhc 里 


面 。 








另外 ， 如 果 有 些 特 殊 文 件 想 直接 上 传 到 正式 服务 器 时 ， 可 以 选择 “Add Alternate Remote Mapping” 再 增加 一 个 SFTP 服 务 器 ， 可 以 手动 选择 此 时 的 SFTP 服 务 器 ， 这 样 的 设计 确实 人 性 化 。 


下 面 继续 给 大 家 介绍 ST3 的 快捷 键 操作 。 


B.2 常用 操作 


“Ct 


二 





+Shift+P: 打开 命令 面板 。 


+P: 搜索 项 目 中 的 文件 。 


+G: 跳 转 到 第 几 行 。 


+W: 关闭 当前 打开 文件 。 


+ShifttW: 关闭 所 有 打开 文件 。 


+Shift+V: 粘贴 并 格式 化 。 


+D: 选择 单词 ， 重 复 可 增加 选择 下 一 个 相同 的 单词 。 


+L: 选择 行 ， 重 复 可 依次 增加 选择 下 一 行 。 


+Shift+L: 选择 多 行 。 


+Shift+Enter: 在 当前 行 前 插入 新 行 。 


+X: 删除 当前 行 。 


+M: 跳 转 到 对 应 括号 。 


+U: 软 撤销 ， 撤 销 光标 位 置 。 


4]: 选择 标签 内 容 。 


+F: 查找 内 容 。 


+Shift+F: 查找 并 替换 。 


+H: 替换 。 


+R: 前 往 method。 


+N: 新 建 窗口 。 


+K+B: 开关 侧 栏 。 


:Cul+Shift+M: 选中 当前 括号 内 容 ， 重 复 可 选择 括号 本 身 。 


“ Ctd+F2: 设置 /删除 标记 。 


“Cttl+/: 注释 当前 行 。 


"Ctrl+Shift+/: 当前 位 置 插入 注释 。 


' Ctrl+Alt+/: 块 注释 ， 并 Focus 到 首 行 ， 写 注释 说 明 时 用 。 





Ctrl+Shift+A: 选择 当前 标签 前 后 ， 修 改 标签 时 用 。 

: F11: 全 屏 。 

“ Shift+F11: 全 屏 免 打扰 模式 ， 只 编辑 当前 文件 。 

: Alt+F3: 选择 所 有 相同 的 词 。 

“ Alt+.: 闭合 标签 。 

“Alt+Shift+ 数 字 : 分 屏 显 示 。 

“ Alt+ 数 字 : 切换 打开 第 N 个 文件 。 

' Shift+ 右 键 拖 动 : 光标 多 步 ， 用 来 更 改 或 插入 列 内 容 。 
“ 鼠标 的 前 进 后 退 键 可 切换 Tab 文 件 。 

“ 按 Cttl， 依 次 点 击 或 选取 需要 编辑 的 多 个 位 置 。 


“ 按 Ctrl+Shift+ 上 下 键 ， 可 替换 行 。 


“Ctl+D: 选中 光标 所 占 的 文本 ， 继 续 操 作 则 会 选中 下 一 个 相同 的 文本 。 

“ Alt+F3: 选中 文本 按 下 快捷 键 ， 即 可 一 次 性 选择 全 部 的 相同 文本 同时 进行 编辑 。 举 例 : 快速 选中 并 更 改 所 有 相同 的 变量 名 、 函 数 名 等 。 
:Cadl+L: 选中 整 行 ， 继 续 操作 则 继续 选择 下 一 行 ， 效 果 和 Shift+ | 效果 一 样 。 

:Cul+Shift+L: 先 选 中 多 行 ， 再 按 下 快捷 键 ， 会 在 每 行 行 尾 插入 光标 ， 即 可 同时 编辑 这 些 行 。 

:Cadl+Shift+M: 选择 括号 内 的 内 容 〈 继 续 选 择 父 括号 ) 。 举 例 : 快速 选中 删除 函数 中 的 代码 ， 重 写 函 数 体 代 码 或 重 写 括号 里 的 内 容 。 
:Cal+M: 光标 移动 至 括号 内 开始 或 结束 的 位 置 。 

:Ctrl+Enter: 在 下 一 行 插入 新 行 。 举 例 : 即使 光标 不 在 行 尾 ， 也 能 快速 向 下 插入 一 行 。 

“ Cttl+ShifttEnter: 在 上 一 行 插 入 新 行 。 举 例 : 即使 光标 不 在 行 首 ， 也 能 快速 向 上 插入 一 行 。 

“ Cttl+Shift+[: 选中 代码 ， 按 下 快捷 键 ， 折 胎 代 码 。 

:Ctrl+Shift+]: 选中 代码 ， 按 下 快捷 键 ， 展 开 代码 。 

:Ctrl+K+0: 展开 所 有 折 胎 代码 。 


“ Ctl+ 一 : 向 左 单位 性 地 移动 光标 ， 快 速 移动 光标 。 





:Cad+ 一 : 向 右 单位 性 地 移动 光标 ， 快 速 移动 光标 。 


. Shift+ 和 : 向 上 选中 多 行 。 


“ Shift+ | : 向 下 选中 多 行 。 


Shift+< 一 : 向 左 选中 文本 。 


' Shift+ 一 : 向 右 选中 文本 。 


“ Cttl+Shiftt+< 一 : 向 左 单位 性 地 选中 文本 。 


:Ctrl+Shift+ 一 : 向 右 单 位 性 地 选中 文本 。 


:Cal+Shift+ 人 : 将 光标 所 在 行 和 上 一 行 代码 互 换 ( 将 光标 所 在 行 插入 到 上 一 行 之 前 ) 。 


“ Cttl+Shift+ | : 将 光标 所 在 行 和 下 一 行 代码 互 换 ( 将 光标 所 在 行 插入 到 下 一 行 之 后 ) 。 


“Cttl+Alt+ 人 : 向 上 添加 多 行 光标 ， 可 同时 编辑 多 行 。 


“Ctrl+Altt+ | : 向 下 添加 多 行 光标 ， 可 同时 编辑 多 行 。 


编辑 类 


“ Cttl+]: 合并 选中 的 多 行 代码 为 一 行 。 举 例 : 将 多 行 格式 的 CSS 属 性 合并 为 一 行 。 





Ctrl+ShifttD: 复制 光标 所 在 整 行 ， 插 入 到 下 一 行 。 


' Tab: 向 右 缩 进 。 

“ Shift+Tab: 向 左 缩 进 。 

:Ced+K+ 开 : 从 光标 处 开始 删除 代码 至 行 尾 。 
:Ctrl+Shift+ 开 : 删除 整 行 。 

“ Cttl+/: 注释 单行 。 
:Ctrl+Shift+/: 注释 多 行 。 


" Cttl+K+U: 转换 大 写 。 





:Ced+K+L: 转换 小 写 。 


. Ctrl+Z: 撤销 。 


. Cttl+Y: 恢复 撤销 。 


" Ctrl+U: 软 撤销 ， 和 Ctd+ 乙 类 似 。 


Ctrl+F2: 设置 书签 





“ Cudl+T: 左右 字母 互 换 。 
“ F6: 单词 检测 拼写 
B.3.2 ”搜索 类 
:Cal+F: 打开 底部 搜索 框 ， 查找 关键 字 ， 此 时 只 能 查找 单个 文件 。F3 会 查找 下 一 个 关键 字 ，Shiftt+F3 为 上 一 个 关键 字 。 
“ Cttl+ShifttF;: 在 文件 夹 内 查找 ， 与 普通 编辑 器 不 同 的 地 方 是 ，ST3 会 在 当前 打开 的 文件 夹 下 面 的 多 个 文件 夹 进行 查找 关键 字 ， 并 输出 “Find Result” 结 果 。 
:Ctrl+P: 打开 搜索 框 。 举 例如 下 : 
“输入 当前 项 目 中 的 文件 名 ， 快 速 搜索 文件 。 
“ 输入 @ 和 关键 字 ， 查 找 文件 中 函数 名 。 
“输入: 和 数字 ， 跳 转 到 文件 中 该 行 代码 。 
“ 输入 # 和 关键 字 ， 查 找 变量 名 。 
: Ctrl+G: 打开 搜索 框 ， 自 动 带 冒 号 ， 输 入 数字 跳 转 到 该 行 代码 。 举 例 : 在 页 面 代码 比较 长 的 文件 中 快速 定位 。 
“ Ctrl+R: 打开 搜索 框 ， 自 动 带 @， 输 入 关键 字 ， 查 找 文件 中 的 函数 名 。 举 例 : 在 函数 较 多 的 页 面 快 速 查找 某 个 函数 。 
:Ctrl+: 打开 搜索 框 ， 自 动 带 #， 输 入 关键 字 ， 查 找 文件 中 的 变量 名 、 属 性 名 等 。 
:Cudl+Shift+P: 打开 命令 框 。 举 例 : 打开 命名 框 ， 输 入 关键 字 ， 调 用 ST3 的 插件 功能 ， 例 如 使 用 package 安 装 插 件 。 
“Esc: 退出 光标 多 行 选择 ， 退 出 搜索 框 ， 命 令 框 等 。 
B.3.3 显示 类 
“ Cttl+Tab: 按 文件 浏览 过 的 顺序 ， 切 换 当 前 窗口 的 标签 页 。 
:Ctrl+PageDown: 向 左 切 换 当前 窗口 的 标签 页 。 
: Ctrl+PageUp: 向 右 切换 当前 窗口 的 标签 页 。 
“ Alt+Shift+1: 窗口 分 屏 ， 恢 复 默认 1 屏 ( 非 小 键盘 的 数字 ) 。 
“Alt+Shiftt2: 左右 分 屏 2 列 。 
“ Alt+Shift+3: 左右 分 屏 3 列 。 
“Alt+Shift+4: 左右 分 屏 4 列 。 
* Alt+Shift+5: 等 分 4 屏 。 


' Alt+Shift+8: 垂直 分 屏 2 屏 。 








“ Alt+Shift+9: 垂直 分 屏 3 屏 。 

“ Cttl+KK+B: 开启 /关闭 侧 边 栏 。 
“ F11: 全 屏 模式 。 

“ Shift+F11: 免 打 扰 模 式 。 


参考 文档 : https://segmentfault.com/a/1190000002570753。 


附录 C ”调试 网 络 接口 的 利器 Postman 


Postman 是 什么 ? 


Postman 的 官网 上 这 么 介绍 它 : “Modern software is built on APls，Postman helps you develop APls faster”。 由 此 可 见 ， 它 是 一 个 专门 测试 API 的 工具 ， 如 果 大 家 正在 进行 API 相 关 的 开发 ， 那 
么 Postman 就 是 我 们 的 福利 。Postman 提 供 功能 强大 的 Web API 和 HTTP 请 求 的 调试 ， 它 能 够 发 送 任何 类 型 的 HTTP 请 求 (GET、POST、PUT、DELETE 等 ) ， 并 且 能 附带 任何 数量 的 参数 和 Headers。 不 仅 
如 此 ， 它 还 提供 测试 数据 和 环境 配置 数据 的 导入 导出 ， 付 费 的 Post Cloud 用 户 还 能 够 创建 自己 的 Team Library 用 于 团队 协作 式 的 测试 ， 并 能 将 自己 的 测试 收藏 夹 和 用 例 数 据 分 享 给 团队 。 接 下 来 将 介绍 
Postman 的 下 载 和 安装 ， 以 及 这 个 工具 都 能 做 些 什么 工作 。 














由 于 Postman 是 作为 Google Chrome 揪 件 存 在 的 ， 所 以 这 里 还 是 选择 “扩展 程序 ”的 方式 来 安装 Postman， 其 安装 步骤 如 图 C-1 至 图 C-3 所 示 。 











我 们 点 击 “ 创 建 快捷 方式 ”以 后 ， 就 可 以 在 桌面 上 和 任务 栏 创 建 快捷 方式 了 ， 即 表示 Postman 安 装 成 功 了 。 点 击 Postman 的 快捷 方式 就 可 以 打开 Postman 程 序 了 ， 其 工作 界面 如 图 C-4 和 图 C-5 所 示 。 





接 下 来 ， 简 单 介绍 下 Postman 每 个 功能 区 都 能 做 些 什么 事 : 

“ 菜单 栏 : 基本 包含 了 所 有 的 操作 。 但 由 于 其 他 功能 区 一 般 都 包含 了 常用 的 操作 ， 一 般 不 会 用 到 菜单 栏 操作 。 

“ 快捷 区 : 快捷 区 提供 常用 的 操作 入 口 ， 包 括 运行 收藏 夹 的 一 组 测试 数据 ， 导 入 收藏 夹 测试 数据 ， 或 环境 配置 数据 。 
“ 设置 区 : 软件 的 常用 设置 (主题 设置 、 快 捷 键 设置 等 ) ， 以 及 导出 环境 数据 。 

“ 侧 边栏 : 主要 是 Request 请 求 的 历史 记录 和 收藏 夹 管 理 。 

“ 搜索 栏 : 输入 关键 字 ， 可 以 搜索 Request 历 史 、 收 藏 夹 、 收 藏 夹 内 的 请 求 。 


: 功能 区 : Request 请 求 设置 ， 查 看 Response 响 应 结果 和 测试 结果 。 


Postman 
由 Www getpostman com 提供 
友 友 太太 (8243) | 开发 者 工具 | 3719.194 他 大 户 








图 C-1 Postman 安 装 步骤 图 示 (一 ) 


要 添加 "Postman" 吗 ? 


该 程序 可 以 : 

。 与 本 地 网 络 或 互联 网 中 的 任何 设备 交换 数据 
*。 显示 通知 

。 与 合作 网 站 通信 


二 ) 














C-2 ”Postman 安 装 步骤 图 示 

















Postman 


在 应 用 店 中 查看 


概 术 
大 小 : 27.1 MB 
版 本 : 4.11.1 


权限 

。 与 本 地 网 络 或 互联 网 中 的 任何 设备 交换 数据 
* 显 z 通知 

。 与 合作 网 站 通信 




















C-3 Postman 安 装 步骤 图 示 








外 








Collections 


Nothing in your history yet Requests that you 
send 中 rough Postman are autornatically saved 


here. 


hetpy/192.168.1.115 x | + 


Builder 


posT v | hetp://192.168.1.118/ansible/playbook/ 





Authorization Headers (1) 


Body Pre-request Script Tests 


图 C-4 ”Postman 工 作 界 面 图 示 (一 ) 




















HTTP/1.1 协 议 规定 的 HTTP 请 求 方法 有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这 几 种 。 其 中 POST 一 般 用 于 向 服务 端 提交 数据 ， 提 交 数 据 有 常见 的 四 种 方式 : 


application/x-www-form-urlencoded、multipart/form-data、application/json 和 text/xml。 我 们 知道 ，HTTP 协 议 是 以 ASCII 码 传输 ， 建 立 在 TCP/IP 协 议 之 上 的 应 F 


个 部 分 : 状态 行 、 请 求 头 、 消 息 主体 。 另 外 ， 协 议 规定 POST 提交 的 数 











本 文 





要 讨论 利 











Postman 提 交 POST 数 





居 的 几 种 方式 。 相 信 大 家 应 该 在 工作 中 用 curl 等 命令 模拟 过 POST 请 求 ， 笔 者 感觉 其 操作 还 是 很 繁琐 的 ， 正 是 因为 Postman 简 化 了 其 操作 ， 而 | 


居 必 须 放 在 消息 主体 中 。 























层 规范 。 规 范 把 HTTP 请 求 分 为 三 








持 得 非常 好 ， 所 以 才 这 么 受 欢迎 。Postman 上 传 POST 数据 主要 有 几 种 方式 ， 即 form-data、x-www-form-urlencoded、raw、binary， 下 面 我 们 将 简单 介绍 下 其 区 别 。 


1) form-data: 即 对 应 HTTP 请 求 中 的 multipart/form-data， 








它 会 将 表单 的 数据 处 理 为 一 条 消息 ， 以 标签 为 单元 ， 


























Content-Type 来 说 明文 件 类 型 ，content-disposition 用 于 说 明 字段 的 一 些 信息 
以 上 传 多 个 文件 。 这 种 方式 在 工作 中 也 较为 常见 











， 如 图 C-5 所 示 。 


。 由 于 有 boundary 隔 离 ， 所 以 multipart/form-data 既 可 以 上 传 文件 ， 也 可 以 上 传 键 值 对 ， 它 采用 





目 对 JSON 格 式 支 











用 分 隔 符 分 开 。 既 可 以 上 传 键 值 对 ， 也 可 以 上 传 文件 。 当 上 传 的 字段 是 文件 时 ， 会 有 
了 键 值 对 的 方式 ， 所 以 可 


有 一 本 本- 


formdata Oxwww-form-urlencoded raw ®© binary 


2) x-www-form-urlencoded: 即 对 应 HTTP 请 求 中 的 application/x-www-from-urlencoded,， 


Headers (1) 


Body® Pre-request Script 


Tests 


图 C-5 ”Postman 工 作 界 面 图 示 (二 ) 





3) raw: 可 以 上 传 任意 格式 的 文本 ， 如 TEXT、JSON、XML、HTML 等 ， 大 家 可 以 在 “binary” 后 面 选择 各 种 各 样 的 格式 ， 如 














它 会 将 表单 内 的 数据 转换 为 键 值 对 ， 比 如 name=cc&age=34。 





图 C-6 所 示 。 


Bulk Edit 
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son) 
50m) 





图 C-6 ”Postman 可 以 模拟 各 种 格式 的 Post 请 求 





工作 中 用 得 最 多 的 是 JSON 格 式 的 文本 ， 比 如 项 目 中 经 常 有 类 似 的 测试 API 接 口 需求 ， 如 图 C-7 所 示 。 


.了 .2.3"， 
”112.1.2.3” 





图 C-7 工作 中 利用 Postman 上 传 json 字 符 串 文本 图 示 


4) binary: 相当 于 Content-Type:application/octet-stream， 从 字面 意思 可 知 ， 只 能 上 传 二 进 制 数据 ， 通 常用 于 上 传 文件 。 因 为 没有 键 值 ， 所 以 一 次 只 能 上 传 一 个 文件 。 


Olipan/ form-data 与 -www-form-urlencoded 区 别 : multipart/form-data 既 可 以 上 传 文件 等 二 进 制 数 据 ， 也 可 以 上 传 表单 键 值 对 ， 只 是 最 后 会 转化 为 一 条 信息 ; x-www-form-urlencoded 只 能 上 传 键 值 对 ， 


并 且 键 值 对 都 是 间隔 分 开 的 。 











另外 穿插 一 个 工作 中 经 常用 到 的 知识 点 ， 即 同步 和 异步 、 阻 塞 和 非 阻塞 。 





我 们 怎样 理解 阻塞 非 阻塞 与 同步 异步 的 区 别 ? 























1) 同步 与 异步 关注 的 是 消息 通信 机 制 。 所 谓 同步 ， 就 是 在 发 出 一 个 “调用 ”时 ， 在 没有 得 到 结果 之 前 ， 该 “调用 ”就 不 返回 。 但 是 一 旦 调用 返回 ， 就 得 到 返回 值 了 。 换 句 话 说， 就 是 由 “调用 者 ”主动 
桥 待 这 个 “调用 ”的 结果 。 而 异步 则 是 相反 ，“ 调 用 ”在 发 出 之 后 ， 这 个 “调用 ”就 直接 返回 了 ， 所 以 没有 返回 结果 。 换 句 话说 ， 当 一 个 异步 过 程 调用 发 出 后 ， 调 用 者 不 会 立刻 得 到 结果 。 而 是 在 “ 调 
”发 出 后 ，“ 被 调用 者 ”通过 状态 、 通 知 来 告知 调用 者 ， 或 通过 回调 函数 处 理 这 个 调用 。Nodejs 就 是 典型 的 异步 编程 模型 。 





















































































































































































































































2) 阻塞 与 非 阻塞 关注 的 是 程序 在 等 待 调用 结果 (消息 、 返 回 值 ) 时 的 状态 。 阻 塞 调用 是 指 调用 结果 返回 之 前 ， 当 前 线程 会 被 挂 起 ， 调 用 线程 只 有 在 得 到 结果 之 后 才 会 返回 。 非 阻塞 调用 指 在 不 能 立刻 得 
到 结果 之 前 ， 该 调用 不 会 阻塞 当前 线程 。 















































由 于 笔者 目前 的 主要 工作 是 DevOps ( 运 维 开发 ) ， 会 将 工作 中 部 分 项 目的 源 代码 以 GitHub 的 形式 分 享 出 来 ， 比 如 用 Flask 和 redis-rq 封 装 Ansible API (功能 实现 部 分 可 以 用 Postman 来 进行 相关 测 
试 ) ， 配 合 前 端 提供 图 形 化 界面 操作 等 。 此 项 目地 址 已 开源 ， 大 家 可 以 关注 以 下 地 址 : https://github.com/yuhongchun/devops.git。 






































参考 文档 : 

http://www.jianshu.com/p/451e0d009304 
http://blog.csdn.net/wangjun5159/article/details/47781443 
https://www.zhihu.com/question/19732473 


https://www.getpostman.com/docs/postman/sending api requests/requests 


附录 D RSYNC 及 INOTIFY 在 工作 中 的 应 用 






























































大 家 应 该 已 经 了 解 和 熟悉 Linux 下 的 rsync 工 具 了 ，rsync (remote synchronize) 是 一 个 远程 数据 同步 工具 ， 可 通过 LAN/WAN 快 速 同步 多 台 主 机 间 的 文件 。rsync 使 用 rsync 算 法 来 使 本 地 主机 和 远程 主 
机 之 间 的 文件 达到 同步 ， 这 个 算法 并 不 是 每 次 都 整 份 传送 ， 它 只 传送 两 个 文件 的 不 同 部 分 ， 因 此 速度 很 快 。 











D.1 rsync 的 优点 
rsync 的 优点 如 下 : 
“ 可 以 镜像 保存 整个 目录 树 和 文件 系统 。 
“ 可 以 很 容易 做 到 保持 原来 文件 的 权限 、 时 间 、 坎 硬 链接 等 。 
“无须 特殊 权限 即 可 安装 。 
“ 拥有 优化 的 流程 ， 文 件 传输 效率 高 。 
“ 可 以 使 用 rsh、ssh 等 方式 传输 文件 ， 当 然 ， 也 可 以 直接 通过 socket 连 接 。 


“ 支持 匿名 传输 。 

















另外 ， 与 scp 相 比 ， 传 输 速 度 不 是 一 个 数量 级 的 。 我 们 在 局 域 网 时 经 常 使 用 rsync 和 scp 传 输 大 量 数据 文件 ， 发 现 rsync 在 速度 上 至 少 比 scp 快 20 倍 以 上 ， 这 得 益 于 rsync 强 大 的 checksum 算 法 。 所 以 大 家 
如 果 需 要 在 Linux 服 务 器 之 间 传 输 大 数据 ，rsync 是 最 好 的 选择 。rsync 2.6.8 有 Bug 存 在 ， 不 过 已 经 在 2.6.9 版 本 中 解决 。 另 外 ，rsync 3.0 版 本 的 算法 相对 于 rsync2.x 算 法 有 所 改善 ，3.0 是 边 对 比 边 同步 ，2.x 是 
完全 对 比 之 后 再 同步 ， 效 率 肯 定 是 3.0 更 高 ， 所 以 这 里 推荐 大 家 采用 3.0 或 更 高 的 版 本 。 在 CentOS 6.8 x86_64 系 统 中 可 以 用 如 下 命令 查看 rsync 版 本 号 ， 如 下 所 示 : 















































rsync --Version 





命令 结果 如 下 所 示 : 





rsync version 3.0.6 protocol version 30 
Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others. 
Web site: http://rsync.samba.org/ 
Capabilities: 
64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints, 
socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace, 
append, ACLs, xattrs, iconv, symtimes 
rsync comes with ABSOLUTELY NO WARRANTY. This is free software, and you 
are welcome to redistribute it under certain conditions. See the GNU 
General Public Licence for details. 





对 rsync 算 法 感 兴趣 的 朋友 可 以 关注 下 列 文章 (如 遇 到 网 页 打 不 开 的 情况 ， 推 荐 大 家 使 用 shadowsocks 翻 墙 ) : 
:httpb://coolshell.cnyarticles/7425.html 

+ http:/ /en.wikipedia.org/wiki/Rolling hash 

: http:/ /en.wikipedia.org/wiki/ Adler-32 

«http://wangyuanziu.blog.163.com/blog/static/130292010101252632998/ 


* http://blog.csdn.net/liuben/article/details/5793706 





* http://blog.csdn.net/liuben/article/details/5693974 


D.2 rsync 的 应 用 模式 








等 其 分 成 了 4 种 应 用 








笔者 建议 将 安装 及 提供 rsync 服 务 的 机 器 称 之 为 rsync 服 务 器 端 ， 没 有 提供 rsync 的 机 器 称 之 为 rsync 客 户 端 ， 这 样 更 容易 理解 本 节 的 内 容 。 这 里 笔者 按照 [rsync 平时 在 工作 中 的 应 用 ， 
模式 ， 如 下 所 示 : 




















1) 本 地 Shell 模 式 。 顾 名 思 义 ， 此 操作 主要 针对 本 地 机 器 ， 用 于 在 本 地 机 器 上 复制 目录 内 容 。 



































2) 远程 Shell 模 式 。 使 用 一 个 远程 Shell 程 序 实现 将 rsync 服 务 器 端的 内 容 拷贝 到 本 地 机 器 或 将 本 地 机 器 的 内 容 拷贝 到 rsync 服 务 器 端的 机 器 中 。 











3) 列表 模式 。 可 以 通过 rsync 查 看 远程 机 器 的 目录 信息 ， 命 令 如 下 所 示 : 





rsync -V 192.168.1.204:/data/html /www/images/ 














4) 服务 器 模式 。 这 个 模式 在 工作 中 应 用 最 多 ，rsync 服 务 器 开启 rsync 服 务 ， 用 于 接收 rsync 客 户 端的 文件 传输 请 求 。 








那么 ， 我 们 究竟 如 何在 CentOS 6.8 下 实现 rsync 服 务 呢 ? 这 里 以 工作 机 器 举例 说 明 。 


具体 安装 步骤 如 下 : 





首先 准备 一 台 系 统 为 CentOS 6.4 x86_64、1P 为 10.0.0.15 的 机 器 ， 将 其 作为 rsync 服 务 器 ， 另 外 准备 两 台 系 统 为 CentOS 6.8 x86_64、1P 分 别 为 10.0.0.16 和 10.0.0.17 的 机 器 作为 rsync 客 户 端 。 














具体 的 安装 步骤 就 不 再 袭 述 ， 只 介绍 重点 内 容 。 首 先 检查 rsync 是 否 安装 ， 命 令 如 下 : 








rpm -q rsync 





命令 显示 如 下 : 





rsync-3.0.6-12.e16.x86 64 





如 果 没 有 安装 rsync， 大 家 可 以 使 用 如 下 命令 进行 安装 (服务 器 端 和 客户 端 都 要 安装 ) : 


yum -~y install rsync 





另外 ， 关 闭 防火 墙 和 SELinux， 因 为 是 在 内 网 中 传输 ， 所 以 不 需要 打开 ， 以 免 引起 不 必要 的 麻烦 ， 命 令 如 下 : 








service iptables stop 
chkconfig iptables off 
setenforce 0 




















下 面 分 享 一 下 笔者 自己 定义 的 配置 文件 /etc/rsyncd.conf (说 明 : 此 文件 并 不 是 系统 创建 的 ， 大 家 可 以 自 定义 名 称 ) 。 先 给 出 具体 代码 ， 后 面 再 进行 详细 注释 ， 代 码 如 下 所 示 : 











uid = www 

gid = WwW 

user chroot = no 

max Connections = 200 

timeout = 

pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsyncd.lock 
log file = /var/log/rsyncd.1log 
[images] 

path=/data/html /www/images/ 

ignore errors 

read only = no 

list = no 

hosts allow = 10.0.0.0/255.255.255.0 
auth users = test 

secrets file = /etc/rsyncd.password 





下 面 说 明 一 下 /etc/rsyncd.conf 的 语法 。 





uid = www 


上 面 指 的 是 运行 rsync 的 用 户 为 vww。 





gid = WwW 





表示 运行 rsync 的 组 为 vww。 












































因为 我 们 的 线 上 系统 运行 Nginx 也 是 用 的 www:www 用 户 ， 为 了 保证 rsync 以 后 文件 及 文件 夹 的 权限 一 致 ， 所 以 这 里 也 选用 了 www:www 用 户 。 



































use chroot = no 


如 果 “use chroot” 指 定 为 true， 那 么 rsync 在 传输 文件 以 前 先 chroot 到 path 参 数 所 指定 的 目录 下 。 这 样 做 可 实现 额外 的 安全 防护 功能 ,但 缺点 是 需要 给 予 用 户 root 权 限 ， 并 且 不 能 备份 通过 外 部 的 符 
号 连接 所 指向 的 目录 文件 。 在 默认 情况 下 ，chroot 值 为 true， 但 是 一 般 不 需要 使 用 ， 笔 者 常常 选择 no 或 false。 




















list = no 





表示 不 允许 列 清单 。 





max connections = 200 





表示 最 大 连接 数 。 





timeout = 600 





表示 覆盖 客户 指定 的 |P 超 时 时 间 ， 也 就 是 说 ，rsync 服 务 器 不 会 永远 等 待 一 个 崩溃 的 客户 端 。 





pidfile = /var/run/rsyncd.pid 





指 的 是 pid 文 件 的 存放 位 置 。 





lock file = /var/run/rsync.lock 





指 的 是 锁 文 件 的 存放 位 置 。 





log file = /var/Log/rsyncd.1og 





指 的 是 日 志文 件 的 存放 位 置 。 





[images] 





这 是 认证 模块 名 ， 跟 Samba 软 件 的 语法 一 样 ， 就 是 对 外 公布 的 名 字 。 





path = /data/html /www/images 





这 是 参与 同步 的 目录 。 





ignore errors 





表示 可 以 忽略 一 些 无 关 的 MO 错误 。 





read only = no 





表示 人 允许 读 和 写 。 





list = no 





表示 不 允许 列 清单 。 





hosts allow = 10.0.0.0/255.255.255.0 





这 里 跟 Samba 的 语法 一 样 ， 只 人 允许 10.0.0.0/24 的 网 段 的 机 器 进行 同步 ， 拒 绝 其 他 一 切 网 段 连接 。 





auth users = www 








指 的 是 认证 的 用 户 名 ， 这 里 为 了 权限 的 一 致 性 ， 建 议 也 选择 www。 





secrets file = /etc/rsyncd.password 





指 的 是 密码 文件 的 存放 地 址 。 


启动 服务 端的 rsync， 可 通过 xinetd 控 制 。 这 里 要 对 rsync 进 行 修改 ,我 们 先 编辑 rsync 相 关 的 文件 /etc/xinetd.d/rsync， 如 下 所 示 : 





service rsync 


disable = yes 


socket type = stream 

wait = no 

user =root 

server = /usr/bin/rsync 
server args = --daemon 


log on failure += USERID 





将 disable=yes 改 为 disable=no， 然 后 重启 xineted 即 可 ， 命 令 如 下 : 








/etc/ini.d/xinetd restart 





最 小 化 安装 的 系统 是 没有 xinetd 服 务 的 ， 需 要 我 们 提前 安装 ， 命 令 如 下 所 示 : 





yum -y install xinetd 








rsync 服 务 会 占用 873 端 口 ， 这 里 可 以 用 Isof 命 令 进行 检测 : 











Ll80f 一 15873 





命令 显示 结果 如 下 : 





COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME 
xinetd 3075 root Su IPv6 17038 0t0 TCP *:rsync (LISTEN) 





此 结果 表示 rsync 服 务 器 已 正常 启动 。 


rsync.conf 配 置 中 应 该 注意 的 问题 如 下 所 示 。 


“ [images]: 认证 模块 名 ， 这 个 认证 模块 名 是 服务 器 对 外 的 名 字 ， 机 器 同步 时 只 认 这 个 名 字 。 


“ path=/data/html/www/images/: 参与 同步 的 目录 的 权限 。 如 果 此 目录 权限 不 够 ，rsync 同 步 无 法 成 功 。 建 议 用 如 下 命令 检查 : 





1s -1d /data/html/www/images/ 





好 





令 显 示 结果 如 下 : 





drwxr-xr-x 3 www WwW 4096 Jun 10 11:31 /data/html/www/images/ 








确保 www:www 用 户 对 此 目录 的 当前 文件 及 下 级 目录 均 具 有 读 、 写 和 执行 权限 ， 命 令 如 下 所 示 : 








Chonw -R www:www /data/html/www/images/ 





注意 用 户 名 和 密码 的 问题 。 





echo "www:www" >/etc/rsyncd.password 





说 明 : 这 里 设置 的 是 用 户 名 和 密码 一 致 。 为 了 安全 起 见 ， 设 置 它 的 权限 为 600， 如 下 所 示 : 





chmod 600 /etc/rsyncd.password 





rsync 客 户 端 配置 : 





echo "www" > /etc/rsyncd.password 














rsync 客 户 端 这 里 只 需要 密码 ， 不 需要 有 用户， 免得 同步 时 还 要 手动 互动 ， 为 了 安全 ， 一 样 配置 为 600 权 限 ， 如 下 所 示 : 





chmod 600 /etc/rsyncd.password 





D.3 工作 中 经 常 遇 到 的 rsync 问 题 
下 面 说 说 在 工作 中 经 常 遇 到 的 rsync 问 题 。 


故障 一 : 服务 器 端的 目录 不 存在 或 无 权限 ， 故 障 描述 如 下 : 





QERROR: chroot failed 
rsync error: error starting client-server Protocol (code 5) at main.c(1522) [receiver=3.0.3] 





解决 方法 : 创建 目录 或 修改 目录 权限 。 








故障 二 : 服务 器 端 该 模块 tee) 需要 验证 用 户 名 密码 ， 但 客户 端 没有 提供 正确 的 用 户 名 密码 ， 认 证 失败 ， 故 障 描述 如 下 : 





QERROR: auth failed on module tee 
rsync error: error starting client-server protocol (code 5) at main.c(1522) [receiver=3.0.3] 





解决 方法 : 提供 正确 的 用 户 名 和 密码 。 





故障 三 : 服务 器 上 不 存在 指定 的 模块 ， 故 障 描述 如 下 : 





GERROR: Unknown module "imagess'" 
rsync error: error starting client-server Protocol (code 5) at main.c(1503) [sender=3.0.6] 





解决 方法 : 提供 正确 的 模块 名 。 


故障 四 : 如 果 客 户 端 没有 对 应 的 目录 ， 例 如 /data/html/www/images， 则 会 报错 ， 如 下 所 示 : 





sending incremental file list 

rsync: change dir "/data/html/www/images" failed: No such file or directory (2) 

sent 18 bytes received 8 bytes 52.00 bytes/sec 

total size is 0 speedup is 0.00 

rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6] 





解决 方法 : 建立 相应 的 目录 即 可 ， 如 下 所 示 : 





mkdir -P /data/html/www/images 





接 下 来 可 以 进行 测试 工作 了 。 


在 rsync 客 户 端的 机 器 上 执行 如 下 命令 : 





rsync -vzrtopg www@10.0.0.15::images /data/html/www/images/ --password-file=/etc/rsyncd.password 





这 时 候 就 可 以 看 到 正确 的 同步 效果 了 ， 结 果 如 下 所 示 : 





Bd 

timgHKJUY9NS .jpg 

timgPKAEHTR9. jpg 

timgQYNJ6P41 .jpg 

timgX8S91TD9.jpg 

Wallpaper/ 
Wallpaper/01300000098168121492520950146 _140.jpg 
Wallpaper/0c806£766572636c733004.jpg 


Wallpaper/1 .gif 
Wallpaper/1234.bmp 
Wallpaper/141 .jpg 


Wallpaper/20070802121227. jpg 
Wallpaper/20070802121240 .jpg 
Wallpaper/200709111315192473.jpg 
Wallpaper/200804241823558620.jpg 


Wallpaper/20090226 (004) 
Wallpaper/20090226 (006) 
Wallpaper/20090226 (007) 
Wallpaper/20090226.jpg 
Wallpaper/20090227 (003) 
Wallpaper/20090227 (007) 
Wallpaper/20090227 (008) 
Wallpaper/7 .jpg 


jpg 
jpg 
jpg 
jpg 


“jpg 
“jpg 


Wallpaper/708367 1254164409.jpg 


Wallpaper/888 .bmp 
Wallpaper/DSCF0020.jpg 
Wallpaper/DSCF0023.jpg 
Wallpaper/DSCF0026.jpg 
Wallpaper/IMG 0029.JPG 
Wallpaper/IMG 0033.JPG 
Wallpaper/IMG 0039.JPG 
Wallpaper/IMG 0051.JPG 
Wallpaper/IMG 0053.JPG 
Wallpaper/IMG 0055.JPG 
Wallpaper/IMG 0056.JPG 
Wallpaper/IMG 0057.JPG 
Wallpaper/PICT0029.JPG 
Wallpaper/bliss.jpg 


Wallpaper/cf9a7975686f6e676368756e3032379a04.jpg 
Wallpaper/chocolate_ sxga.png 
Wallpaper/d81bb4a7de85d780d043586f.jpg 
Wallpaper/head 2bMm 9853p206133.jpg 


sent 879 bytes received 30482740 bytes 


total size is 30469534 


speedup is 1.00 


12193447.60 bytes/sec 








接 下 来 在 客户 端 机 器 上 检查 同步 后 的 文件 及 其 权限 ， 如 下 所 示 : 





1s -lsrt /data/html/www/images/ 





文件 显示 结果 如 下 : 





total 1120 


4 drwxrwxr-x 2 Www WWW 


.=v 

96 
480 
284 





4096 Jun 10 11:30 Wallpaper 

10 14:44 timgxX8S91TD9.jpg 
10 14:44 timgQYNJ6P41 .jpg 
10 14:44 timgPKAEHTR9.jpg 
10 14:44 timgHKJUY9NS.jpg 


1 www www 261516 Jun 
1 www www 94785 Jun 
1 www www 488179 Jun 
1 www www 288038 Jun 





大 家 可 以 注意 到 ，rsync 客 户 端 同步 以 后 的 文件 属 

















E 和 组 均 属 于 www:www， 说 明 rsync 的 配置 生效 。 


fsync 客 户 端 机 器 上 ，/data/html/www/images/ 和 /data/html/www/image 进 行 rsync 传 输 的 效果 截然 不 同 。 如 果 是 /data/html/www/images， 则 会 将 image 目录 复制 到 rsync 服 务 器 端 
的 /data/html//www/images/ 目 录 下 ; 如 果 是 /data/html/www/images/， 则 不 传输 目录 本 身 ， 只 是 传输 目录 中 的 文件 内 容 。 请 大 家 在 工作 中 注意 这 点 。 


D.4 工作 中 经 常用 到 的 rsync 参 数 








下 面 再 说 说 工作 中 经 常用 到 的 rsync 参 数 ， 如 下 所 示 : 








* -Vv--verbose: 详细 模式 输出 。 


* -fr--trecursive: 对 子 目 录 以 递归 模式 处 理 。 


' -p--perms: 保持 文件 权限 。 


“* -0--OWner: 保持 文件 属 主 信 息 。 


“ -g--group: 保持 文件 属 组 信息 。 


' -t--times; 保持 文件 时 间 信 息 。 


“ -delete: 表示 客户 端 上 的 数据 要 与 服务 器 端 完 全 一 致 ， 还 是 以 上 面 的 例子 进行 说 明 。 


请 看 下 面 的 rsync 同 步 命令 : 





rsync -vzrtopg --delete www@10.0.0.5::images 


/data/html /www/images/ --password-file=/etc/rsyncd.password 


我 们 在 这 里 引入 了 --delete 参 数 ， 则 会 将 rsync 客 户 端 机 器 的 /data/html/www/images 目 录 跟 rsync 服 务 器 端的 /data/html/www/images 目 录 完 全 保持 一 致 ， 如 果 客户 端 机 器 上 存在 着 rsync 服 务 器 端 
不 存在 的 文件 或 目录 ， 执 行 --delete 参 数 命令 后 都 会 删除 。 


' --delete-excluded: 同样 删除 接收 端 那 些 被 该 选项 指定 排除 的 文件 。 


“ -Z--Ccompress: 对 备份 的 文件 在 传输 时 进行 压缩 处 理 。 


“ -exclude= 文 件 或 文件 夹 名 : 指定 不 需要 传输 的 文件 或 文件 夹 名 。 


“ --include= 文 件 或 文件 夹 名 : 性 


必定 圾 
百 不 而 


要 传输 的 文件 或 文件 夹 名 。 


' --exclude-from=FILE: 排除 FILE 中 指定 模式 匹配 的 文件 。 


' --include-from=FILE: 不 排除 FILE 指 定 模式 匹配 的 文件 。 


D.5 工作 中 rsync 的 小 技巧 


另外 ， 我 们 工作 中 经 常 遇 到 的 一 个 问题 是 ， 如 何 实现 快速 删除 海量 文件 ? 


有 时 候 需要 快速 清空 有 几 百 万 个 小 文件 的 文件 来， 我 们 一 般 会 采 




















rm-rf* 的 方式 处 理 ， 但 现在 的 服务 器 一 般 都 是 机 械 磁盘 ， 这 样 不 仅 速度 慢 ， 而 | 








目 磁 盘 /O 压 力 非常 大 ， 机 器 负载 很 容易 就 上 去 了 ， 其 实 




















这 个 时 候 我 们 可 以 用 rsync 快 速 清理 。 








比如 说 我 们 要 清理 //data/html/www/mall/Runtime 目 录 里 的 文件 ， 步 又 如 下 所 示 : 














1) 建立 一 个 空 的 文件 来， 命令 如 下 所 示 : 





mkdir /tmp/test 




















2) 用 rsync 删 除 /data/www/html/mall/Runtime 目 录 ， 命令 如 下 所 示 : 














rsync --delete-before -a -V --progress --stats /tmp/test/ /data/html/www/mall/Runtime 























这 样 我 们 要 删除 的 /data/www/html/mall/Runtime 目 录 就 会 被 清空 了 ， 而 且 删 除 的 速度 非常 快 。 




















选项 说 明 : 

“ -delete-before: 接收 者 在 传输 之 前 进行 删除 操作 。 

“ -progress: 在 传输 时 显示 传输 过 程 。 

“ -a: 归档 模式 ， 表 示 以 递归 方式 传输 文件 ， 并 保持 所 有 文件 属性 。 
“ -Vv; 详细 输出 模式 。 


“ -stats: 给 出 某 些 文件 的 传输 状态 。 


D.6 rsync+inotify 实 现 数据 的 实时 同步 更 新 


1.rsync 的 优点 与 不 足 















































rsync 在 Linux 下 是 一 个 比较 重要 和 实用 的 服务 ， 大 家 应 该 已 经 从 前 面 的 内 容 了 解 到 rsync 具 有 安全 性 高 、 备 份 迅速 、 支 持 增 量 备份 等 优点 ， 通 过 rsync 可 以 解决 对 实时 性 要 求 不 高 的 数据 备份 需求 ， 例 如 


定期 备份 文件 服务 器 数据 到 远 端 服务 器 ， 对 本 地 磁盘 定期 做 数据 镜像 等 。 























随 着 应 用 系统 规模 的 不 断 扩大 ， 对 数据 的 安全 性 和 可 靠 性 也 提出 了 更 高 的 要 求 ，rsync 在 高 端 业务 系统 中 也 逐渐 暴露 出 了 很 多 的 不 足 之 处 ， 首 先 ，rsync 同 步 数据 时 ， 需 要 扫描 所 有 文件 后 进行 比 对 ， 然 


后 进行 差 量 传输 。 如 果 文 件数 量 达到 了 百 万 甚至 干 万 量 级 ， 扫 描 所 有 文件 是 非常 耗 时 的 。 而 且 正 在 发 生变 化 的 往往 是 其 中 很 少 的 一 部 分 ， 这 是 非常 低 效 的 方式 。 其 次 ，rsync 不 能 实时 地 上 监测、 同步 数据 ， 虽 
然 它 可 以 通过 Linux 守 护 进程 的 方式 触发 同步 ， 但 是 两 次 触发 动作 会 有 一 定 的 时 间 差 ， 这 样 就 导致 了 服务 端 和 客户 端 数据 可 能 出 现 不 一 致 的 情况 ， 无 法 在 应 用 故障 时 完全 恢复 数据 。 基 于 以 上 原因 ， 考 虑 采 上 














rsync+inotify 的 形式 ， 这 样 就 可 以 解决 这 些 问 题 了 。 


2. 初 识 inotify 







































































inotify 是 一 种 强大 、 细 粒度 、 异 步 的 文件 系统 事件 监控 机 制 ，Linux 内 核 从 2.6.13 起 ， 加 入 了 对 inotify 的 支持 ， 通 过 inotify 可 以 监控 文件 系统 中 的 添加 、 删 除 、 修 改 、 移 动 等 各 种 细微 事件 ， 利 用 这 个 内 





核 接 口 ， 第 三 方 软件 就 可 以 监控 文件 系统 下 文件 的 各 种 变化 情况 ， 而 inotify-tools 就 是 这 样 的 一 个 第 三 方 软件 。 




















我 们 在 上 面 章节 中 讲 到 ，rsync 可 以 实现 触发 式 的 文件 同步 ， 但 是 通过 crontab 守 护 进 程 方式 触发 ， 同 步 的 数据 和 实际 数据 会 有 差异 ， 而 inotify 可 以 监控 文件 系统 的 各 种 变化 ， 当 文件 有 任何 变动 时 ， 就 





触发 rsync 同 步 ， 这 就 刚好 解决 了 同步 数据 的 实时 性 问题 。 























3. 安 装 inotify 工 具 inotify-tools 








由 于 inotify 特 性 需要 Linux 内 核 的 支持 ， 在 安装 inotify-tools 前 要 先 确 认 Linux 系 统 内 核 是 否 达到 了 2.6.13 以 上 ， 如 果 Linux 内 核 低 于 2.6.13 版 本 ， 就 需要 重新 编译 内 核 ， 加 入 对 inotify 的 支持 ， 我 们 的 


CentOS 6.8 系 统 内 核 版 本 为 2.6.32-642， 所 以 不 需要 担心 此 问题 。 





uname -r 





命令 显示 如 下 : 





2.6.32-642.e16.x86 64 


然后 通过 |s 查 看 是 否 存 在 /proc/sys/fsVinotify 目 录 ， 如 下 所 示 : 





ls -lsrt /proc/sys/fs/inotify/ 








此 命令 显示 结果 如 下 : 
total 0 


0 -rw-r--r-- 1 root root 0 Jun 10 15:05 max user watches 
0 -rw-r--r-- 1 root root 0 Jun 10 15:05 max user instances 
0 -rw-r--r-- 1 root root 0 Jun 10 15:05 max queued events 





通过 以 上 显示 我 们 应 该 清楚 ，CentOS 6.8 x86_64 是 支持 inotify 的 。 


4.inotify 可 以 监控 的 文件 系统 事件 








inotify 是 文件 系统 事件 监控 机 制 ， 是 dnotify 的 有 效 蔡 代 品 (dnotify 是 较 早 内 核 支持 的 文件 监控 机 制 ) 。inotify 是 一 种 强大 、 细 粒度 、 异 步 的 机 制 ， 它 满足 各 种 各 样 的 文件 监控 需求 ， 不 仅 限 于 安全 和 


性 能 。 


inotify 可 以 监视 的 文件 系统 事件 包括 : 





“IN_ACCESS: 文件 被 访问 。 


“ IN_MODIFY: 文件 被 wtite。 


“IN_ATTRIB: 文件 属性 被 修改 ， 如 chmod、chown、touch 等 。 
:IN_CLOSE_WRITE: 可 写 文件 被 close。 

“ IN_CLOSE_NOWRITE: 不 可 写 文件 被 close。 

“ IN_OPEN: 文件 被 open。 

" IN_MOVED_FROM: 文件 被 移 走 ， 如 mv。 
“IN_MOVED_TO: 文件 被 移入 ， 如 mv、cp。 

“ IN_CREATE: 创建 新 文件 。 
“ IN_DELETE: 文件 被 删除 ， 如 rm。 

IN_DELETE_SELF: 自 删除 ， 即 一 个 可 执行 文件 在 执行 时 删除 自己 。 


“ IN_MOVE_SELF: 自 移动 ， 即 一 个 可 执行 文件 在 执行 时 移动 自己 。 





“IN_UNMOUNT: 宿主 文件 系统 被 unmount。 
' IN_CLOSE: 文件 被 关闭 ， 等 同 于 (IN_CLOSE_WRITE |IN_CLOSE_NOWRITE) 。 
IN_MOVE: 文件 被 移动 ， 等 同 于 (IN_MOVED_FROMIIN_MOVED TO) 。 

意 上 面 所 说 的 文件 也 包括 目录 。 


5.rsync+inotify 企 业 应 用 案例 























笔者 之 前 公司 的 web 应 用 服务 器 采用 的 是 集群 方案 ，6 台 Nginx 之 间 同 步 代码 的 方案 正 是 rsync+inotify， 这 里 以 3 台 机 器 进行 说 明 ， 即 1 台 rsync 服 务 器 ，2 台 rsync 客 户 端 机 器 ， 此 环境 跟 上 面 的 环境 区 另 
较 大 ， 大 家 注意 不 要 混淆 ， 如 下 所 示 : 


' Server:10.0.0.15 rsync 客 户 端 。 
“Client1:10.0.0.16 rsync 服 务 器 端 。 


* Client2:10.0.0.17 rsync 服 务 器 端 。 
































大 家 注意 下 这 里 的 权限 分 配 ，Server 是 作为 内 容 发 布 的 机 器 ， 即 代码 改动 是 在 这 台 机 器 上 面 操作 的 。 这 里 是 作为 rsync 客 户 端 ， 并 非 rsync 服 务 器 端 。 所 有 机 器 需要 同步 的 目录 均 
为 /data/htdocs/www/images， 自 动 同步 顺序 均 为 Neb 客户 端 机 器 向 Web-Server 端 机 器 同步 ， 我 们 这 里 将 Client1 和 Client2 机 器 配置 成 rsync 的 服务 器 端 即 可 ， 而 这 里 的 Server 机 器 仅仅 作为 rsync 客 户 


Er 
炳 。 




















其 工作 流程 为 Server 一 Client1&&Server 一 Client2。 























1) inotify-tools 是 用 来 监控 文件 系统 的 工具 ， 必 须 安装 在 Web-Server ( 即 rsync 客 户 端 ) 机 器 上 ， 用 于 监控 其 文件 系统 的 变化 ，Clietn 端 机 器 ( 即 rsync 服 务 器 ) 不 需要 安装 。 











首先 开始 安装 inotify-tools， 由 于 我 们 的 机 器 提前 安装 了 epel 源 ， 这 里 通过 yum 安 装 即 可 ， 命 令 比 较 简单 : 





yum -~y install inotify-tools 


























2) Client1 和 Client2 机 器 的 rsync 服 务 配置 比较 容易 ， 大 家 可 以 参考 上 面 的 内 容 配置 好 /etc/rsyncd.conf 文 件 。 


此 命令 内 容 如 下 所 示 : 





uid = www 

gid = Www 

user chroot = no 

max connections = 200 

timeout = 600 

pid file = /var/run/rsyncd.pid 
lock file = /var/run/rsyncd.1lock 
log file = /var/log/rsyncd.1log 


[webl_sync] 

path=/data/html /www/images 
#web2 机 器 此 处 配置 为 [web2_sync] 

ignore errors 

read only = no 

list = no 

hosts allow = 10.0.0.0/255.255.255.0 
auth users = www 

secrets file = /etc/rsyncd.password 











启 xinetd 即 可 ， 如 下 所 示 : 








/etc/init.d/xinetd restart 























记得 两 全 Web 机 器 都 要 配置 /etc/rsyncd.passwd 文 件 ，rsync 的 配置 过 程 和 原理 请 大 家 参考 附录 前 面 的 内 容 ， 这 里 就 不 详细 说 明了 ， 注 意 /etc/rsyncd.password 的 文件 权限 和 内 容 。 





3) 配置 好 Server ( 即 rsync 客 户 端 机 器 ) 的 inotify 脚 本 以 后 ， 让 其 开机 ， 即 启动 ， 脚 本 /root/rsync-inotify.sh 内 容 如 下 : 





#!/bin/bash 

src=/data/html /www/images/ 
des_ipl=10.0.0.16 

des_ ip2=10.0.0.17 


/usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' ~--format '%T %w%f' -~e modify,delete,create,attrib $src | while read file 
do 
rsync -vzrtopg --delete --progress $src www@$des ipl::webl sync --password-file=/etc/rsyncd.password 


rsync -vzrtopg --delete --progress $src www@$des ip2::web2 sync --password-file=/etc/rsyncd.password 
echo "File Synchronization is Complete!" 





脚本 相关 解释 如 下 : 


: --timefmt: 指定 时 间 的 输出 格式 。 


“ --format: 指定 变化 文件 的 详细 信息 。 











这 个 脚本 的 作用 就 是 通过 inotify 监 控 文件 目录 的 变化 ， 进 而 触发 rsync 进 行 同步 操作 ， 由 于 这 个 过 程 是 一 种 主动 触发 操作 ， 是 通过 系统 内 核 完成 的 ， 所 以 ， 对 比 那些 遍历 整个 目录 的 扫描 方式 来 说 ， 效 率 
要 高 很 多 。 








nohup sh rsync-inotify.sh & 





4) 验证 就 很 容易 了 ， 可 以 在 Web-Server 的 机 器 的 /data/html/www/images/ 目 录 下 新 建文 件 ， 更 改 文件 内 容 ， 可 以 发 现 ， 两 台 Client 端 的 机 器 对 应 的 目录 马上 也 会 发 生 相 应 的 改变 ， 非 常 快捷 方便 。 
我 们 可 以 通过 nohup.out 文 件 也 能 观察 到 更 详细 的 日 志 同 步 信息 。 





起 于 此 时 Client1 和 Client2 机 器 是 真实 的 rsync 服 务 器 端 ， 所 以 www 用 户 是 真实 存在 的 ， 所 以 要 记得 提前 建立 此 www 用 户 ， 我 们 可 以 用 命令 来 分 配 ， 即 useradd-s/sbin/nologin test1。 事 实 上 ， 在 实际 工作 
中 也 能 发 现 ，tfsync+inotify 还 是 比较 消耗 服务 器 的 内 存 资 源 的 ， 建 议 rsync-server 端 的 内 存 配置 适量 增 大 。 


5) 如 果 我 们 想 要 脚本 随 着 机 器 启动 而 生效 ， 可 将 此 脚本 放 在 /etc/rc.local 中 ， 即 在 最 后 一 行 添加 相关 内 容 。/etc/rc.local 文 件 改动 后 内 容 如 下 : 





/root/rsync-inotify.sh & 














总 体 说 来 ，rsync+inotify 比 较 适用 于 没有 存储 环境 的 小 文件 的 即时 同步 更 新 的 工作 场景 ， 适 合 中 小 型 规模 的 网 站 规模 。 如 果 web 集 群 超过 10 台 ， 应 该 考虑 更 复杂 的 设计 方案 ， 像 代码 同步 可 以 考虑 自动 
化 配置 的 方式 ， 图 片 同步 可 以 考虑 挂 存储 的 方式 。 
































